推广 Github 项目：爬取免费可用代理，供爬虫等工具使用

[ksaa0096329]

proxy_list

很多网站对爬虫都会有 IP 访问频率的限制。如果你的爬虫只用一个 IP 来爬取，那就只能设置爬取间隔，来避免被网站屏蔽。但是这样爬虫的效率会大大下降，这个时候就需要使用代理 IP 来爬取数据。一个 IP 被屏蔽了，换一个 IP 继续爬取。此项目就是提供给你免费代理的。

需要免费代理的可以试试，如果对您有帮助，希望给个 Star ⭐，谢谢！😁😘🎁🎉

Github 项目地址 gavin66 / proxy_list

特性

• 爬取、验证、存储、Web API 多进程分工合作。

• 验证代理有效性时使用协程来减少网络 IO 的等待时间。

• 持久化（目前使用 Redis ）爬取下来的代理。

• 提供 Web API，随时提取与删除代理。

  ​

使用

使用 Python3.6 开发的项目，没有对其他版本 Python 测试

克隆源码

git clone [e-mail]:gavin66/proxy_list.git

安装依赖

pip install -r requirements.txt

运行脚本

python run.py

Web API

查看文档

[Cooky]

手动点赞

[Le4fun]

好东西，mark

[est]

很好。我已经把这些 ip 全部加黑名单了。

[qiukun]

@est 漂亮

[oneofwower]

@est 此帖终结

[lwghappy]

有测试过爬虫的效率怎么样？

[ksaa0096329]

@lwghappy 你指的是哪一方面？是使用这些代理的效率还是爬取这些代理的效率？如果是爬取的话，每个代理都会访问一遍 `https://httpbin.org/` 确定代理可用。也就是使用已持久化下来的，都是保证可用的，使用 Web API 获取的时候都会获取连接速度最快的。

[ksaa0096329]

@Cooky 😄

[ksaa0096329]

@Le4fun 😄

[ksaa0096329]

@est 👍

[Itanium]

反爬界的福音

[former]

@Itanium 反爬界是不是也每天爬一遍加 blocklist..

[gyh]

和 [IPProxyPool]( https://github.com/qiyeboy/IPProxyPool) 比有什么优势么

[lj0014]

顶，收藏备用

[fhefh]

顶 收藏备用

[Soar360]

我也做了一个，话说，这个成本真的不高啊……
https://ip.coderbusy.com/

[Orzzzz]

搭车： https://github.com/wrfly/gus-proxy

把所有代理当一个来用。

[suantong]

刚在 tending 看到了

[flyingfz]

话说 会不会 用的人多了之后， 被扒的网站 很容易就 把所有（或者大部分）的代理池分辨出来， 然后大家都没得玩了。

[ksaa0096329]

@gyh 我原来用的就是这个项目，后来看了源码感觉很多地方复杂了，我又有代码洁癖。所以有了这个项目，如果看源码，有很多我是借鉴 IPProxyPool 的。