开源项目免费爬虫代理框架 IPProxyTool 请各位 V 友 敬请雅正、不舍赐教~

[awolfly9]

使用 scrapy 爬虫抓取代理网站，获取大量的免费代理 ip 。过滤出所有可用的 ip ，存入数据库以备使用。

从项目开源以来收到了各位 V 友大神的指点，也不断的优化完善羡慕，目前在第一次开源之后做出了如下重大更改：

• 添加验证次数，如果验证次数越大，表示该代理 ip 越稳定
• 多进程分别验证每一个站点，比如 豆瓣、京东 是在两个不同的进程同时验证，更加保证了代理 IP 的有效性
• 更改了 mysql 连接库，从 mysql-connector-python 换成了 pymysql ，并且插入支持事务
• 完善了服务器接口参数
• 添加了更多代理 IP 站点，目前大概支持 10 个免费代理 IP 站点

github 地址： https://github.com/awolfly9/IPProxyTool

请各位 V 友继续敬请雅正、不舍赐教~

PS:开源真的让我认识了很多 V 站的朋友，也让我受益匪浅，如果你对项目有任何的意见和建议，欢迎加我微信指点 QXdvbGZseQ==(base64)

[vlike]

看了一下不错，可惜不喜欢 mysql

[zingl]

现在的年轻人都不知道 proxyhunter 了吧

[awolfly9]

@zingl 还真没有听过。马上查一下。感谢赐教。

[awolfly9]

@vlike 后续会支持其他数据库。

[former]

@zingl 代理猎手赞一个， 12 年的时候还在用，很老的软件，当年也是扫描验证代理的精品

[q9S]

boos douban liepin 这些表名什么意思额

[q9S]

额 不用回我，晓得咯 

[awolfly9]

@q9S 所以仔细看 readme 还是有必要的 😝

[cocoakekeyu]

OK, 给 star