自建代理节点供爬虫使用,中央节点调配问题

2017-06-12 10:39:09 +08:00
 qsnow6

看到这个问题,想到目前网上卖代理的超卖现象很严重,代理质量越用越差。所以就想到自建代理节点的方案。

淘宝上有很多卖全国多地混拨的 VPS,想买个几台自建成代理节点给爬虫食用。

但是这里有个中央节点调度的问题,当其中一台或几台代理节点在重拨 ADSL 或故障的时候。中央节点返回当前可用的代理节点。

所以问题来了,有没有折腾成本低,免造轮子的方案

参考资料:

[1]: http://cuiqingcai.com/3443.html "Python 爬虫进阶七之设置 ADSL 拨号服务器代理"

[2]: https://www.v2ex.com/t/367649#reply11 "https://www.v2ex.com/t/367649#reply11"

2680 次点击
所在节点    宽带症候群
4 条回复
coldwinds
2017-06-12 10:56:08 +08:00
关键词:代理池
qsnow6
2017-06-12 11:05:56 +08:00
@coldwinds

好像是这个叫法。。

刚看到个代理 IP 商的成熟解决方案
qsnow6
2017-06-12 11:06:11 +08:00
qsnow6
2017-06-12 14:33:41 +08:00

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/367746

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX