为爬虫构建代理池

[tikazyq]

为了避免爬虫被封 IP ，网上搜索教程说需要建立代理池。但是付费代理都好贵。。。不过好在网上已经有不少免费提供代理的网站了。因此，我打算写个爬虫去获取这些免费 IP ～

策略

• 步骤 1. 用种子关键词例如“代理 IP ”在各个搜索引擎上搜索，获取候选 URL
• 步骤 2. 爬取候选 URL ，将代理地址储存下来
• 步骤 3. 验证代理地址，将可用的代理地址放入代理池

难点

1. 如何去验证维护这些代理地址
2. 如何知道哪些代理地址适合哪些网站（可用性，响应时间）
3. 效率问题（之前写过简单的验证脚本，但是效率非常低）

小伙伴们有不有什么好的办法能解决这些问题呢？

[facat]

用代理池中的代理访问百度，记录获取页面的时间。

[tikazyq]

@facat 多谢 这个可行的 不过怎么解决效率问题呢？而且有些代理直接指向单一网站，这种如何检测啊

[hansnow]

@facat 如果这么做的话会不会因为代理那边的缓存而导致结果不准确呢

[jnduan]

付费代理包月也就 300 左右，跟抓来的数据相比，太便宜了

[hansnow]

@jnduan 请问有推荐咩？

[ji4ozhu]

ip.54nb.com

[binux]

自己的验证地址，异步 IO ，短超时。
一般如果能访问地自己的验证地址，大部分网站都没有问题。除非你有量特别大的特殊网站，比如淘宝，可以单独测。

[josephshen]

我原来也和你一样这样想，后来发现花钱买代理提供商的更加方便，价格也很便宜。具体就不推荐了。

[tikazyq]

@binux 自己的验证地址是指提供代理的网站吗？

[tikazyq]

@josephshen 能推荐几个代理提供商嘛～

[binux]

@tikazyq 指验证代理时访问的网站

[josephshen]

你可以搜一下先，在这个过程中你会自己有比较，会学到其它东西的，公网上不应该随便告诉一个人应该怎样做

[ELIOTT]

記得 Hola 有個產品是專門賣代理池的.

[miyuki]

http://proxydb.net/list?protocol=http&minavail=0&maxtime=0&limit=25&ip_filter=&port_filter=&host_filter=&country_filter=&isp_filter=Unicom&via_filter=

[UnisandK]

http://ningning.today/2016/03/07/python/python-requests-tor-crawler/

[spikeLIN]

我们代理池自己爬的⋯⋯

[greatghoul]

我用的快代理，挺不错的

[Soar360]

这东西，折腾起来很简单，我折腾过好几次了，能维持在 3000 左右的可用 IP 。

[demonchang]

。。。刚好要搞这个。爬的太麻烦。买的能好点吧。但是不知道买那个。求推荐

[techmoe]

tor