V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
qsnow6
V2EX  ›  宽带症候群

自建代理节点供爬虫使用,中央节点调配问题

  •  
  •   qsnow6 · 2017-06-12 10:39:09 +08:00 · 2675 次点击
    这是一个创建于 2712 天前的主题,其中的信息可能已经有所发展或是发生改变。

    看到这个问题,想到目前网上卖代理的超卖现象很严重,代理质量越用越差。所以就想到自建代理节点的方案。

    淘宝上有很多卖全国多地混拨的 VPS,想买个几台自建成代理节点给爬虫食用。

    但是这里有个中央节点调度的问题,当其中一台或几台代理节点在重拨 ADSL 或故障的时候。中央节点返回当前可用的代理节点。

    所以问题来了,有没有折腾成本低,免造轮子的方案

    参考资料:

    [1]: http://cuiqingcai.com/3443.html "Python 爬虫进阶七之设置 ADSL 拨号服务器代理"

    [2]: https://www.v2ex.com/t/367649#reply11 "https://www.v2ex.com/t/367649#reply11"

    4 条回复    2017-06-12 14:33:41 +08:00
    coldwinds
        1
    coldwinds  
       2017-06-12 10:56:08 +08:00
    关键词:代理池
    qsnow6
        2
    qsnow6  
    OP
       2017-06-12 11:05:56 +08:00
    @coldwinds

    好像是这个叫法。。

    刚看到个代理 IP 商的成熟解决方案
    qsnow6
        3
    qsnow6  
    OP
       2017-06-12 11:06:11 +08:00
    qsnow6
        4
    qsnow6  
    OP
       2017-06-12 14:33:41 +08:00
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2063 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 16:16 · PVG 00:16 · LAX 08:16 · JFK 11:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.