听说今天情人节。开源一个爬虫代理框架，各位大神轻喷

[awolfly9]

听说开源才能走的更高更远，才能让自己成长，所以尝试自己写的爬虫代理框架 IPProxyTools 。各位大神轻喷。

使用 scrapy 爬虫抓取代理网站，获取大量的免费代理 ip 。过滤出所有可用的 ip ，存入数据库以备使用。

github 地址： https://github.com/awolfly9/IPProxyTool

[deleted]

抓代理很有用，学习了

[imcocc]

mysql 是不是有点重，有没有考虑 sqlite ？

[uzumaki]

已 star

[songdezu]

有了可用 ip list 之后， 怎么用户爬虫本身去轮流循环替换代理？

[awolfly9]

@imcocc 最开始就是尝试用的 splite ，后来改成 mysql 是为了数据更长久的保存，以及后续分布式部署。

@uzumaki 如果有什么问题，请给我反馈

@songdezu 目前的做法是从服务器端口获取到 ip list 之后，在 scrapy 请求的 Middleware 中循环从 ip list 中取 ip ，如果发现 ip 不可用就马上删除 ip 。当 ip list 剩余很少时，重新向服务器请求。具体可以参考我后续开源的利用这个代理 ip 抓取豆瓣电影以及书籍的爬虫

[awolfly9]

@deleted 共同进步

[Felldeadbird]

ip 有时效性啊。楼主入库多久会清理一次啊

[hellopython]

学习了，谢谢分享！！！

[awolfly9]

@Felldeadbird 抓取的所有免费 ip 或插入到表 free_ipproxy .如果验证之后的有效 ip 会放在单独的表里面。具体表名可以配置，例如抓取豆瓣就放在 douban 中。然后 free_ipproxy 每次抓取的时候回删掉半个小时之前的数据。代理 ip 验证会先验证当前表中之前已经验证过的代理，如果不可用就从当前表中移除，然后在验证 free_ipproxy 中的代理，如果可用就加入到表中。

[dongxiaozhuo]

已经 star 。不过我的代理都是 zmap 扫描端口，验证请求 http://httbin.org/get 页面，正常返回即入库。数据库中峰值有 7W+ 可用的 http 代理，平均 3w+ 。

[wujunze]

感谢分享

[heissuperhan]

免费代理基本没有用

[youyoumarco]

学习爬虫中。感谢分享

[ijustdo]

免费代理不做验证 基本好多都没法用的 小伙子加上代理验证吧

这玩意 2007 年就做过 当时分布式抓取 分布式验证 服务端在 linux 客户端在 win 自动清理无效代理
当时是给分布式爬虫用的

[awolfly9]

@ijustdo 是有代理验证的。抓取，验证，然后提供接口。

[hadoop]

@dongxiaozhuo 这个数量 nb ！

[jiezhi]

感谢分享， star 为敬

[mclxly]

都 2017 了，为何不用 Python 3 写呢

[onestar]

学习了，已 star

[awolfly9]

@mclxly 以后开一个分支出来用 python3