爬虫代理 IP 推荐

2016-03-24 12:26:41 +08:00
 SummerSun
最近用一些网站上发布的免费代理 IP 来爬虫,但这些 IP 很多用了几分钟就失效了,变 bad proxy 了,有些甚至都不能用,程序经常因此中断。请问大家有没有稳定的代理 IP 推荐,就算淘宝上要钱也没事,最好能提供链接地址,谢谢。
7821 次点击
所在节点    Python
12 条回复
daiv
2016-03-24 12:58:27 +08:00
自己买 vps 搭建
hufuman
2016-03-24 13:09:56 +08:00
爬虫如果要用代理 IP 的话,显然是需要大量的,自己搭建很容易被封。
我们的做法是封装了个代理爬虫和下载模块,代理爬虫用来从各种地方抓代理,验证有效后放到数据库里。下载模块会从数据库里取代理 IP ,下载失败后再换 IP 。
deben
2016-03-24 13:15:03 +08:00
我 google 之后找到一家卖代理的, 虽然包月用户是可以无限量的获取代理 IP, 但是一旦需求量大一点儿, 就开始重复, 数量和质量远远达不到要求啊.
naomhan
2016-03-24 13:37:55 +08:00
最近自己的做法是批量去其他人那里爬免费代理,再自己写验证,相当于自己维护一个可用的代理池
wwng
2016-03-24 14:09:34 +08:00
淘宝动态 ip vps 你值得拥有
esxivistawrt
2016-03-24 16:07:16 +08:00
最好是挂 Tor 去爬
hanbingtel
2016-03-25 05:46:19 +08:00
我有 爬虫的代理池,不过因为怕滥用,所以有一定的限制,如果需要,可以联系我 QQ302000008
可测试,保证连接率!
hadoop
2017-02-01 23:53:29 +08:00
@hanbingtel 国内还是国外的? socks 还是 http 代理?
hanbingtel
2017-02-15 01:55:58 +08:00
国外的,基本都是 http ,少量 sock5.
hanbingtel
2017-02-15 01:56:37 +08:00
@hadoop 如果是临时使用,可以找我,免费帮你下!
dgivan
2017-04-09 10:40:33 +08:00
你可以用一些收费的代理
比如阿布云代理 站二爷代理 云代理,等等
niuoh
2017-07-27 13:08:48 +08:00
ip-chi.net ip 池代理 用过很不错

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/265998

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX