听说今天情人节。开源一个爬虫代理框架，各位大神轻喷

[awolfly9]

听说开源才能走的更高更远，才能让自己成长，所以尝试自己写的爬虫代理框架 IPProxyTools 。各位大神轻喷。

使用 scrapy 爬虫抓取代理网站，获取大量的免费代理 ip 。过滤出所有可用的 ip ，存入数据库以备使用。

github 地址： https://github.com/awolfly9/IPProxyTool

[awolfly9]

@botman 现在是一个站点一个脚本，非常方便维护，而且相互之间可以没有影响和关联

[fuxkcsdn]

那个...运行了半小时左右， 66ip 就抓到 6 个代理...不合理啊...只抓取首页吗？？
半小时就只抓到 279 个代理 IP ，略少...

[awolfly9]

@fuxkcsdn 我只抓了首页，因为在之前的测试中发现后面的很多 IP 都失效了，抓下来也没什么作用。如果想要抓取多页，只需要到 sixsixip.py 中 self.urls = ['http://m.66ip.cn/%s.html' % n for n in range(1, 2)] 更改 2 为 想要抓取的页数