怎样提高这种爬虫的速度。

[YingJie]

100+万 IP，内外网都有，想批量验证状态(80 端口)，并写入文件(IP)。不用 nmap。Python 实现，能给个思路吗，如果是 Python 推荐哪些库(多进程+协程?requests?grequests?sock?Scapy?)；如果用 Golang ……弱弱的问一句 Golang 有优势吗?
这种需求是不是也属于爬虫范围?
谢谢！

[panyanyany]

弱弱地问一句这 100+万 IP 哪来的啊……可用率有多少？

[golmic]

scrapy

[popu111]

Golang 的话 Goroutine 的实现简易度确实高得多，写这种简单的并发应用用 golang 是个相当棒的选择

[dongxiaozhuo]

zmap ？

[YingJie]

@panyanyany 初略估计 10%

[YingJie]

@dongxiaozhuo 尝试了，用不起来……

[aip]

这个。。。关键难道不是带宽么？带宽足够的话，并发一万个进程。。。。

[YingJie]

@aip 嗯，在带宽一定的情况下，想怎样提高效率，所以问问……

[nicoljiang]

1、你用的 ADSL VPS 的网络质量和机器稳定性，以及 VPS 的数量；
2、反爬策略；
3、爬虫后端的数据处理能力。

以上是开玩笑的，真正的瓶颈就在能投入多少钱。