分享一个最近写的 http 代理池工具 proxy_pool

[endoffight]

proxy_pool

之前用过很多开源出来的工具，效果都不是很理想，于是就自己开发了这个工具。他功能很简单，抓代理并且提供 api 给爬虫或者其他需要 http 代理的软件用。

支持功能

• 定时抓取互联网公开免费的代理
• 定时验证可用代理
• 支持动态代理( https 仅支持 connect)
• 使用采集到的代理访问代理网站
• 使用命令行环境变量进行配置

说明

• 采集的网站可以在 source 文件夹下找到
• 支持了传统的 api 模式和动态代理，用过阿布云的同学一定知道
• 有些网站可能当前网络也上不去，所以添加了用采集到的代理去访问目标页面的功能
• 想要添加自己的 spider，最简单的只要 50 行代码即可

下载地址

如果用的顺手，欢迎 star 一下~

proxy_pool/releases

[mythjava]

好东西

[xjoker]

好像没看见配置检测网址的功能

[endoffight]

@xjoker 目前用的是 ip.cip.cc ，这个 url 直接返回客户端 ip，方便比较

是有需求吗？

[xjoker]

@endoffight #3 刚好最近在做爬虫类的项目
你这个项目真的很不错

有时候会遇到反爬或者 ip 被封禁，所以我这里都是使用一个自定义的地址来检测代理的可用性

[endoffight]

@xjoker

这个问题其实之前考虑过，因为池子可能不是给某一个爬虫使用，所以当时考虑到创建多个池子，然后针对每一个池配置一个检测代理是否可用的规则，所以我在开发的时候预留了 master 和 worker 模式，master 负责爬，每个 work 会维护自己的池子，m 会把采集到的代理分发到所有 w 中。

但是检测一个代理 IP 是否可用，仅仅靠 http code==200 应该是不够的，遇到 API 类型的 url，可能要解析一下，然后判断某个字段是否正确；或者 html 中出现了某个关键字；还可能有更复杂的判断模式，当时想很多东西，撸代码的时候觉得还是先把基本功能实现了再说。

综上，目前这个项目还是属于初级阶段，代理池时作为一个中立的池子。而你说的这个 feature 等有了 M/W 模式后就很好实现了。现阶段想满足你的需求修改 proxy 的 TestProxy 方法为你自己的逻辑即可。