V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
spotsung
V2EX  ›  问与答

py 去爬对象数据,总是被封 ip,爬着爬着爬不动。是不是只能买 ip 代理数据库?太贵了

  •  
  •   spotsung · May 30, 2022 · 1809 views
    This topic created in 1427 days ago, the information mentioned may be changed or developed.

    py 去爬对象数据,总是被封 ip ,爬着爬着爬不动。是不是只能买 ip 代理数据库?太贵了。还有别的方案吗?麻烦指点讨论

    5 replies    2022-05-30 18:28:35 +08:00
    wuwuta170
        1
    wuwuta170  
       May 30, 2022 via iPhone
    间隔地爬
    ila
        2
    ila  
       May 30, 2022 via Android
    用 selenium 测试下,看代码问题还是时间段单 IP 请求次数问题.
    第二种情况,买个鸡场服务,在起飞和本地来回切换
    keepeye
        3
    keepeye  
       May 30, 2022
    测一下一个 ip 能用多久,我知道的动态代理一般一个 ip 有效时常 3-5 分钟,算下来也不是很贵
    sadfQED2
        4
    sadfQED2  
       May 30, 2022 via Android
    尝试在这几个 http 头中瞎 jb 随机 ip 地址

    REMOTE_ADDR
    HTTP_VIA
    HTTP_X_FORWARDED_FOR
    X-Real-IP
    X_FORWARDED_FOR

    某些分不清这些变量区别的程序员,随便在网上 copy 了一份“获取用户真实 ip“的代码。那你瞎 jb 随机这几个头给他就然后 ip 检测了
    sadfQED2
        5
    sadfQED2  
       May 30, 2022 via Android
    @sadfQED2 修正:那你瞎 jb 随机这几个头给他就绕过 ip 检测了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   6013 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 164ms · UTC 01:57 · PVG 09:57 · LAX 18:57 · JFK 21:57
    ♥ Do have faith in what you're doing.