有什么靠谱的代理池开源项目推荐?免费获取大量可用的 ip 靠谱吗

2019-09-25 15:16:26 +08:00
 wyan453351466

楼主最近需要采集一些数据。然后看了下 GitHub 上的一些 star 数较高的代理池项目,好像能很好地 work 的不多。 有什么好的开源项目推荐的吗?

3910 次点击
所在节点    程序员
19 条回复
cwz88
2019-09-25 15:28:37 +08:00
掏点钱不好么?
wyan453351466
2019-09-25 15:32:08 +08:00
@cwz88 好呀。有免费得更好呀。没有的话我就直接掏钱买了。
主要是采集的数据量大。如果长期付费是一笔不小的开支,能省则省嘛(手动狗头)
cwz88
2019-09-25 15:32:55 +08:00
我研究过这个,免费的都不靠谱
andylsr
2019-09-25 15:34:48 +08:00
基本都是那几个网站的代理,结论是并没什么可以用的
scukmh
2019-09-25 15:37:13 +08:00
haipproxy, 其实 GitHub 上的此类项目都差不多,大家爬取的代理网站无非就那么几个,这样看来还不如选择一个简单易用的。
wafm
2019-09-25 15:37:29 +08:00
即使是付费的也一堆雷,免费的就别想了,有动手能力可以自己扫
itsjoke
2019-09-25 16:09:22 +08:00
动态 XXX 了解一下
kingfalse
2019-09-25 16:11:37 +08:00
直接花钱买吧,试那些就是浪费时间
wyan453351466
2019-09-25 16:24:23 +08:00
@kingfalse 嗯,我觉得也是。即使写出来一个代理池爬虫,维护这个代理池爬虫还有服务器成本其实也是一项开支
nullboy
2019-09-25 16:55:52 +08:00
收费的也是垃圾
lxghost
2019-09-25 17:12:24 +08:00
http://www.zhimaruanjian.com/ 每天可以领免费的
hanyu586
2019-09-25 17:13:43 +08:00
铜球
zsy979
2019-09-25 17:58:50 +08:00
免费的你短时间内发两次请求状态都可能一个成功一个失败 233
snxq1995
2019-09-25 18:00:33 +08:00
拨号上网了解一下
HuberyPang
2019-09-25 18:06:24 +08:00
https://github.com/pangxiaobin/proxy_ip_pool 我之前写了一个 不过也是爬取那几个免费代理网站 可以自己在找一些添加到项目中
sadfQED2
2019-09-25 18:07:04 +08:00
github 上免费的我基本上都试过,另外我也自己去各种地方收集过免费的,总结下来一句话就是:浪费时间

然后我又用了给钱的,最后总结下来是:给钱也不咋地(每年 5 万,可能是我钱没给够)
jetpy
2019-09-25 18:57:54 +08:00
即使是自己做着玩耍的项目也建议付费的,免费的根本就是浪费时间,90%以上都不能用, 公司项目的话直接就不用考虑免费的,安心付费吧。
killlakilllike
2019-09-25 19:40:38 +08:00
https://www.zdaye.com/ 这个,有免费的
luckbbs
2019-09-26 08:33:46 +08:00
付费的,也很多爬的免费网站。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/604056

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX