重构蜘蛛，现在选择是基于 crawlab 还是 DotnetSpider 还是其他更好的选择？

2020-05-03 00:22:23 +08:00
 songdezu

自己写的基于 scrapy 的就像玩具，不够 scale up，而且数据库和轮询代理 ip 总是做不好。求个各位用的省心的框架，什么语言无所谓。谢谢

1607 次点击
所在节点    程序员
3 条回复
WilliamYang
2020-05-03 12:51:16 +08:00
说一句，Scrapy 已经是很好的框架，如果你觉得自己写得像玩具一样，是不是应该先考虑是否自己用得不好，而不是去寻找其它框架
beyondex
2020-05-04 08:24:54 +08:00
DotnetSpider 很棒，适合做大规模爬虫
tikazyq
2020-05-06 23:07:35 +08:00
crawlab 是管理爬虫的平台，可以跑任意爬虫框架，包括 scrapy 和 DotnetSpider

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/668161

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX