首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
lysS
V2EX  ›  问与答

关于爬虫 IP 代理的疑问

  •  
  •   lysS · 85 天前 · 504 次点击
    这是一个创建于 85 天前的主题,其中的信息可能已经有所发展或是发生改变。
    就是因为一般咋们花钱得到的代理 IP 很多也是代理提供商在全网扫描得到的,稳定性和可靠性都得不到保障。假如在某次爬取的过程中,目前使用的 ip 突然挂了,是不是这次爬取操作失败了,得重新再来过??
    8 回复  |  直到 2019-10-29 16:33:22 +08:00
    locoz
        1
    locoz   85 天前 via Android
    不,正常的商业级代理 IP 都是家宽拨号弄的,只有某大象是爬的别人的。扫全网 IP 扫出来的代理服务器不管是稳定性还是速度还是 IP 质量,都不如拨号弄出来的 IP 好。
    locoz
        2
    locoz   85 天前 via Android
    @locoz #1 “都不如拨号弄出来的 IP 好” -> “都不如拨号弄出来的代理服务器好”
    lysS
        3
    lysS   85 天前
    @locoz 有推荐的吗?量不是很大,如果有量贩就最好的啦
    VisionKi
        4
    VisionKi   85 天前
    我是把 IP 批量存入 redis 的 set 集合里,然后跑的过程,遇到不能用的就去掉这个 IP,再随机取一个 IP 重新爬一次这个页面。
    locoz
        5
    locoz   85 天前
    @lysS #3 多贝云啊、芝麻代理啊都是可以的,IP 质量要求不高的话直接自己搭更便宜。
    QdouHuiQwaiLai
        6
    QdouHuiQwaiLai   85 天前
    收费的代理一般都是用服务器拨号的 不是扫描得到的
    lysS
        7
    lysS   85 天前
    @locoz 谢谢
    lysS
        8
    lysS   85 天前
    @QdouHuiQwaiLai 在几家花几块钱试了一下,可用率都很低,多半是扫的,不过这几家是比较小的,主要想要量贩的
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2147 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 25ms · UTC 14:01 · PVG 22:01 · LAX 06:01 · JFK 09:01
    ♥ Do have faith in what you're doing.