好奇一下各位写过的爬虫性能大概都到了什么级别？

2016-09-19 00:11:00 +08:00
 razrlele

看最近有几个关于爬虫的帖子，顺便好奇一下各位写过的爬虫性能都大概如何～

机器带宽的配置？语言 /框架？每分钟抓取了多少页 or 解析了多少页？

2710 次点击
所在节点    Python
4 条回复
sydfish
2016-09-19 00:23:46 +08:00
楼主是自己写爬虫的？能交流一下吗？
diefishfish
2016-09-19 00:43:46 +08:00
楼主可以写个爬虫把 github 上的爬虫源码都爬下来，然后再统计语言 /框架，再写个脚本测试各类爬虫的性能，这样不仅提高了自己写爬虫的水平还解决了想了解的问题，讲的好有道理自己都无法反驳
razrlele
2016-09-19 00:50:59 +08:00
@sydfish 我也只是入门级水平，仅限于折腾一下 scrapy 和 scrapy-redis 之流。

@diefishfish 我觉得用脚本测试还是不现实吧，毕竟爬虫这个东西也要看具体应用场景才能知道真正的性能，不同的网站反爬机制也不一定相同。
lizon
2016-09-19 17:02:22 +08:00
最大的瓶颈是带宽，是反扒机制
纯粹抓取效率的话，语言和框架都没关系，网络等待时间都是秒级的
就一破笔记本手写并发随便开几百线程，就能把 10M 光纤跑满，你自己写个试试就知道了

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/307122

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX