socks 代理池

2016-08-06 15:54:14 +08:00
 regeditms

最近在做一个爬虫,链接是 https 的,所以需要 https 代理或者 socks 代理,大家是如何找到可靠的代理池呢?可能需要 1 千个代理以上。免费或者付费的都可以说下,谢谢。

6844 次点击
所在节点    Python
28 条回复
UnisandK
2016-08-06 16:28:59 +08:00
不需要并发的话可以用 tor 或者 adsl vps
lhbc
2016-08-06 16:30:02 +08:00
支持 connect 的 http 代理也是可以的。
kera0a
2016-08-06 16:40:12 +08:00
链接是 https 的,
那么用 http 代理也是可以的。
regeditms
2016-08-06 16:45:59 +08:00
@UnisandK
@lhbc
@kera0a 需要并发,就是因为需要并发哈,这样的代理是哪里找,我之前想过按量付费用 阿里云,只要几个小时就可以,但是还要自己搭建代理环境,不省心。要求代理可用性要比较高。
lgsr
2016-08-06 17:47:45 +08:00
ADSL 拨号,挂机宝
regeditms
2016-08-06 17:56:22 +08:00
@lgsr 谢谢哈,不过我是同时需要,并发的。
nyanyh
2016-08-06 18:09:37 +08:00
以前做过小爬虫,买过包月 300 不限量的 http 代理,没使用过 socks 代理。但是高并发访问成功率太依赖代理 IP 本身的速度了,很多代理池根本达不到自己宣传的那么高有效率
建议 Google 几家卖代理的网站,买点几块钱一天的试用卡提取点 IP 试下,能满足需求再多买吧
regeditms
2016-08-06 18:14:34 +08:00
@nyanyh 好的 感谢分享,问下自己按量付费阿里云 搭建 你感觉怎么样?
anexplore
2016-08-06 18:26:18 +08:00
@regeditms 以前看帖子有人说过阿里按量付费貌似比较坑,可以搜搜看看
nyanyh
2016-08-06 18:28:47 +08:00
r#8 @regeditms 贵。最便宜的机器也要 0.5-1 元 /小时了,流量价格另算。我用阿里云的时候还不能换 IP 不知道现在可不可以,要是爬的时候对方封了代理 IP 又要重新折腾服务器。当然要是爬的时间短而且不缺钱的话就另说了
terranboy
2016-08-06 20:44:29 +08:00
GOOGLE 搜 PRIVATE PROXY
SlipStupig
2016-08-06 21:17:43 +08:00
@nyanyh 一个 ip 才 30 块钱一个月,主机一个月 60 ,也就是 90 ,你动态释放 IP 就行,如果你觉得一个 IP 慢了可以用两个对换着释放绑定,一点也不贵!
regeditms
2016-08-06 21:31:37 +08:00
@SlipStupig 主要是 我需要 几分钟内 1000 个代理服务器。
regeditms
2016-08-06 21:35:32 +08:00
@terranboy 看了下 挺贵的,我只需要 大概 4 个小时。
@nyanyh 我就需要 4 个小时 大概爬 几次就可以了。如果有脚本可以批量创建主机,批量架设代理服务器就好了。
nyanyh
2016-08-06 21:39:17 +08:00
r#12 @SlipStupig 1 2 个确实不贵, LZ 需要 1000 个就……
BMW
2016-08-06 22:14:38 +08:00
高可用的代理 ip 池,一直是个难题,难点在于不想花钱。
regeditms
2016-08-06 22:43:23 +08:00
@BMW 算是这样吧,我看到国外有,不过都是按月付费算起来, 500 个代理算起来大几千了。我就使用几个小时就可以了。
regeditms
2016-08-06 22:44:08 +08:00
@nyanyh 问下用国外的 socks 代理,正常的网页访问会被 gfw 切断吗?
liubo
2016-08-07 00:32:17 +08:00
可以试试用香港的主机,配合 multi-tor 。
我之前最快的速度大概是单台机器一天抓了某个网站 150 多万的数据。
lemontv
2016-08-07 01:00:26 +08:00
matt ?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/297573

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX