听说今天情人节。开源一个爬虫代理框架，各位大神轻喷

[awolfly9]

听说开源才能走的更高更远，才能让自己成长，所以尝试自己写的爬虫代理框架 IPProxyTools 。各位大神轻喷。

使用 scrapy 爬虫抓取代理网站，获取大量的免费代理 ip 。过滤出所有可用的 ip ，存入数据库以备使用。

github 地址： https://github.com/awolfly9/IPProxyTool

[Clarencep]

已 star

[yesineedroot]

感谢分享！

[kutata]

感谢分享~

[holyzhou]

通过 8000 端口 我怎么能拿到最近的按照响应排序好的可用的 http 地址 好像 api 接口有点弱。
"http://127.0.0.1:8000/select?name=douban",我没理解这里的豆瓣是做什么用的

[vh2h]

我提一个问题。你开源一个爬虫代理框架，和今天是情人节之间有什么关系呢？这之间没有任何逻辑可言嘛！

[lwd2136]

不错，已经收藏。

[herozzm]

验证是关键，不然大量无用 ip ，功能就废了

[qsnow6]

@dongxiaozhuo 之前也想要这么操作，有没有示例

[Inn0cence]

爬虫菜🐔学习。马可 学习下

[yuansmin]

项目挺不错的，赞一个。不过这个瓶颈主要还是网上的免费代理不靠谱啊

[holyzhou]

@awolfly9 感谢, 用了半天 还不错 改了 scan 的频率, 拿到的地址比我 1 块钱淘宝买的靠谱些,但也会有连接失败的，再者就是拿到的数量并不多(通过 http://127.0.0.1:8000/select?name=douban 拿到的)

[awolfly9]

@holyzhou 可用的代理 ip 会随着时间的增加而增加。由于我抓取的站点比较少，而且那些站点更新免费 ip 也很慢，所以有效的 ip 会随着时间增加而不断积累。失效的 ip 会被淘汰。

[awolfly9]

@yuansmin 你说的很对

[gamecmt]

强，已 star

[botman]

好项目，表示去年也写过一个类似的项目，做爬虫必备良品啊，给 lz 顶一个先。
给点建议，既然是写框架就不建议把代理站点硬编码进去，因为现在不少开放代理站点需要进行 js 解析才能拿到代理，所以不同的开放代理站点的解析规则也是不同的，建议把这部分功能里独立开来，规则大家可以一起维护。

[liangmishi]

感谢开源~

[Nyloner]

哈哈，前段时间也写了一个类似项目： http://nyloner.cn/proxy

[mingyun]

130+ 收藏，厉害了

[anexplore]

年前搞了一个扫描 ip:port 查找 http 代理的，功能还不完善。 https://github.com/anexplore/proxydetector.git

[DevilBin]

已 star