py 写了个 IP 代理池, 求⭐

[cwjokaka]

代理池一找一大堆，造这个轮子是因为学了异步想实践一下，捞一波⭐。

目前在开发中，打算加个高匿性检测🙃

https://github.com/cwjokaka/ok_ip_proxy_pool

欢迎提建议

[cwjokaka]

自顶↑

[cwjokaka]

不要只收藏啊😅

[jziwenchen]

支持 !

[Northxw]

建议：'test_url': 'http://www.baidu.com' 这个链接改成可配的最好，搞百度么得意思~

[HuberyPang]

不错不错 验证 ip 代理类型可以看下用这个 https://github.com/pangxiaobin/proxy_ip_pool/blob/master/ProxyIPPool/utils/validator.py 这个也是参考 githup 上的一个项目 感觉不错

[cwjokaka]

@jziwenchen 感谢🎉
@Northxw 这个链接是可配的，实际上是用来通过代理来获取数据，理论上可以用任何 url 代替
@HuberyPang 感谢分享

[cwjokaka]

UP

[fengshils]

给你支持一下

[tulongtou]

学一下 rust 的异步，拿 rust 写吧

[mxy940127]

这些免费代理 真的有用么..

[cwjokaka]

@fengshils thx

@tulongtou 有时间再学~

@mxy940127 大部分都用不了，通过验证这步可以筛选掉无效的

[vtwoextb]

赞

[cwjokaka]

UP

[sadfQED2]

@cwjokaka #11 筛选没有任何意义，因为你筛选的时候能用，等一会就不能用了，还有一些是偶尔有用偶尔没用

[cwjokaka]

@sadfQED2 我弄了一个简易评分的规则，每隔一段时间验证代理，通过验证的加分，不通过的减分，0 分的代理标为不可用。虽然不能百分百杜绝代理不可用的情况，但至少可以提高请求的成功率。^O^

[jiager]

没想到你一直在做呀，之前找代理 IP 池的时候看见过你的，那时候好像你刚开始写，最后还是选的 github 上那个 7.8kstar 的，过两天试试你这个

[jasonqiao36]

偶尔会出现 sqlite 被锁了

[cwjokaka]

@jasonqiao36 是的😂，我查过 sqlite 是锁文件的，如果更新频率过快会有这种情况。
有没有大佬可以提出解决 /缓解方案

[cwjokaka]

@jiager 还好你选了别的，当时应该留了有十多个 bug

[jasonqiao36]

@cwjokaka #18 存储到 redis ？