V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hpze2000
V2EX  ›  程序员

itunes 大量采集, 非常稳定, 经常 403, 有没有什么好的解决方案. 求~~

  •  
  •   hpze2000 · 2013-10-28 17:09:25 +08:00 · 3961 次点击
    这是一个创建于 3834 天前的主题,其中的信息可能已经有所发展或是发生改变。
    12 条回复    1970-01-01 08:00:00 +08:00
    hpze2000
        1
    hpze2000  
    OP
       2013-10-28 17:17:18 +08:00
    错了, 非常不稳定。。。。
    Showfom
        2
    Showfom  
       2013-10-28 17:21:35 +08:00
    挂上大量代理IP
    hpze2000
        3
    hpze2000  
    OP
       2013-10-28 17:47:41 +08:00
    额, 代理IP 这么搞???
    @Showfom
    Livid
        4
    Livid  
    MOD
       2013-10-28 18:14:10 +08:00 via iPhone
    x forwarded for
    hpze2000
        5
    hpze2000  
    OP
       2013-10-29 08:44:56 +08:00
    @Livid 这是什么意思?
    hardway
        6
    hardway  
       2013-10-29 09:20:38 +08:00
    x forwarded for 自己冒充代理
    或者使用tor,不停更换IP
    fanwei
        7
    fanwei  
       2013-10-29 10:29:46 +08:00
    如果服务器获取的client ip,是不是就没办法了?
    fucker
        8
    fucker  
       2013-10-29 10:47:21 +08:00
    @fanwei 是的,X-FORWARDED-FOR就没用了,这样就只能用代理或者vpn。
    eickegao
        9
    eickegao  
       2013-10-31 08:59:19 +08:00
    apple有一套API可以提供itunes的信息的。
    tcsky
        11
    tcsky  
       2013-11-05 20:19:03 +08:00
    请求的时候用IP加header请求,将流量分发到CDN不同服务器上去~ 再加上伪造的IP头(这个不知道有没有用,我想像的是防封), 我采12306就这么干的, 能稳定在每秒10个http请求不被封~ 我这边连续跑了一个学期,已经几百万次请求了都没事~
    tcsky
        12
    tcsky  
       2013-11-05 20:20:32 +08:00
    额 一个星期~ 一个学期吓死人~~
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1650 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 16:38 · PVG 00:38 · LAX 09:38 · JFK 12:38
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.