我这种用 celery 对吗？

2017-04-05 11:14:09 +08:00
 coolair
有两个函数对应两个多线程爬虫，把这两个函数放 celery 里面跑，不管他自己开的线程，可以么？

按道理是不是应该爬虫函数自己不开线程，全抛队列里，让队列开多线程去取？
968 次点击
所在节点    问与答
1 条回复
simapple
2017-04-05 11:31:47 +08:00
没毛病，我就是用 celery 定时执行 scrapy 去抓取数据的

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/352590

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX