socks 代理池

2016-08-06 15:54:14 +08:00
 regeditms

最近在做一个爬虫,链接是 https 的,所以需要 https 代理或者 socks 代理,大家是如何找到可靠的代理池呢?可能需要 1 千个代理以上。免费或者付费的都可以说下,谢谢。

6844 次点击
所在节点    Python
28 条回复
crab
2016-08-07 01:04:42 +08:00
限制那么厉害别想高并发了。
代理失效快,响应慢, ADSL 拨号,多租几台跑。
SlipStupig
2016-08-07 01:08:53 +08:00
@nyanyh 你每次买一个,用完就释放掉,算的还是一个的钱,但是你同时挂 1000 个就是算一千个的钱,但是这样 IP 没有充分利用起来啊!
你估计没明白我意思:
现在有 IP1 IP2 (两个都是包月的):
1.ip1 权重 100 , ip2 权重 50,所以服务器出口是 ip1
2.当过了一分钟后, ip1 卖掉就不再计费,这么时候 ip2 权重为 100, 是程序的唯一出口
3.买入 ip3 ,这么时候 ip3 权重为 50 ,但是总数没有变化,始终是两个 IP

伪代码:

ip_list = []

while 1:

while len(ip_list) < 2:
ip_list.append(buy_new_ip())

set_weight(ip_list[0], 100)
set_weight(ip_list[1], 50)
wait_time(60)
ip_list.pop(0)
forwind
2016-08-07 12:56:12 +08:00
肉鸡
nyanyh
2016-08-07 13:33:47 +08:00
r#18 @regeditms 会,就算正常使用大流量的话也会被间歇阻断
ji4ozhu
2016-08-08 12:40:08 +08:00
挂机宝的 SDK 吧。
ip.54nb.com
wangxiaoer
2016-08-11 19:26:17 +08:00
@liubo :能讲讲思路吗?
fofo
2016-08-14 13:36:17 +08:00
www.duoip.cn 满足你的需要哈,基本上几十块钱就搞定哈,不过如果要并发爬取就需要多个了,我自己是买天付款的那种,自己弄个虚拟机,然后用代码不断拨号就行了。
regeditms
2016-08-14 13:45:36 +08:00
@fofo 谢谢哈 不过我需要保持原来 ip 和链接,意味着是同时需要的。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/297573

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX