yangguang31466
V2EX  ›  问与答

用 python 爬取 什么值得买网站 返回 403,爬其他网站的时候返回 200,这个是怎么回事?

  •  
  •   yangguang31466 · Apr 20, 2015 · 4834 views
    This topic created in 4039 days ago, the information mentioned may be changed or developed.

    代码请求头里面加了user-agent,请求其他网站没有问题!

    9 replies    2015-04-27 16:49:52 +08:00
    yangguang31466
        1
    yangguang31466  
    OP
       Apr 20, 2015
    被服务器拒绝了,怎么才能解决这个问题?
    NewYear
        2
    NewYear  
       Apr 20, 2015
    这个站长好像也是V2的人……
    Tink
        3
    Tink  
    PRO
       Apr 20, 2015 via iPhone
    从rss试试
    learnshare
        4
    learnshare  
       Apr 20, 2015
    防爬虫做的不错
    wibile
        5
    wibile  
       Apr 20, 2015
    可以啊,试了试没问题的,加上cookie就行了。另外好像都是奇数的帖子,如667459,667409,667387
    jas0ndyq
        6
    jas0ndyq  
       Apr 20, 2015 via iPhone
    没伪装成浏览器?
    binux
        7
    binux  
       Apr 20, 2015
    现在张大妈的反爬虫做得不错,用了一个和 IP 相关的,需要执行 JS 生成的 cookie 来验证。
    kchum
        8
    kchum  
       Apr 20, 2015 via iPhone
    Selenium.
    yangguang31466
        9
    yangguang31466  
    OP
       Apr 27, 2015
    加上cookie后就可以了!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5710 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 07:52 · PVG 15:52 · LAX 00:52 · JFK 03:52
    ♥ Do have faith in what you're doing.