爬虫代理 ip 池开源项目

2017-11-07 23:06:16 +08:00
 az999

github 地址: https://github.com/javagaorui5944/ProxyIpPool 码云地址: https://gitee.com/javagaorui5944/ProxyIpPool 大佬轻拍。 欢迎提 pr,欢迎进群(200255678),一起研究代码的优化,多线程爬取,维护,多维度获取代理 IP.

3682 次点击
所在节点    分享发现
9 条回复
Soar360
2017-11-08 05:09:13 +08:00
这种东西,也许就只能拿来练手了……

https://proxy.coderbusy.com/zh-cn/classical/distribution.aspx
asuraa
2017-11-08 09:52:03 +08:00
这不还是爬取别人的网站么。。。能自己扫描么?提高扫描速度
az999
2017-11-08 10:46:19 +08:00
@Soar360 有没有兴趣加群一起探讨下?
az999
2017-11-08 10:46:36 +08:00
@luodaoyi 多维度获取代理 IP.暂时只有爬取
lieh222
2017-11-08 14:55:16 +08:00
有转发代理的功能吗
aragakiiyui
2017-11-08 17:36:08 +08:00
免费 ip 不好用啊,我之前测过,ip 换的足够快,平均 1 秒才成功 1~2 个请求。
az999
2017-11-08 18:24:02 +08:00
@aragakiiyui 嗯,我这边就是再次筛选一次,至少我认为稳定的再会存到 redis 里使用
az999
2017-11-08 18:24:11 +08:00
@lieh222 目前没有
az999
2017-11-17 21:46:24 +08:00
0.0

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/404455

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX