新开源的 python scrapy 爬虫集群 有人用过吗？

2015-05-10 12:37:35 +08:00
 monsabre1

https://github.com/istresearch/scrapy-cluster

3980 次点击
所在节点    分享发现
5 条回复
zts1993
2015-05-10 12:56:10 +08:00
用过 Redis 和Scrapy组的集群
cxl008
2015-05-10 13:17:29 +08:00
scrapy + redis + mongodb 。。。。。。自己写的。。。。。。。
zhwei
2015-05-10 14:19:46 +08:00
这货一直2.7也是醉了
yakczh
2015-05-10 14:24:29 +08:00
scrapy如果已经抓过的网站又有更新了, 一般是怎么处理 ?是在命令行重新启动运行一遍吗?
heamon7
2015-05-11 10:35:55 +08:00
@yakczh 定时任务么？

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/189902

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX