hechaov
V2EX  ›  问与答

从 VPS 爬虫 抓取被 cloudflare access denied

  •  
  •   hechaov · Apr 28, 2022 · 2272 views
    This topic created in 1482 days ago, the information mentioned may be changed or developed.

    首先在自己本地电脑抓取没问题, 可以用的是 python3 cfscrape

    脚本 放到 VPS 主机上就不行了

    error code: 1020

    curl --request GET --url https://api.opensea.io/api/v1/asset_contract/0x06012c8cf97bead5deae237070f9587f8e7a266d

    返回的信息的 cloudflare access denined

    先谢谢大哥们

    4 replies    2022-04-29 07:46:55 +08:00
    oh
        1
    oh  
       Apr 28, 2022
    应该是 VPS 的 IP 地址被 Cloudflare 识别是机房网络了吧,加上频繁请求
    felixcode
        2
    felixcode  
    PRO
       Apr 28, 2022 via Android
    网站也可以主动提交爬虫 ip 给 cloudflare 防火墙名单的。
    hechaov
        3
    hechaov  
    OP
       Apr 28, 2022
    请求不频繁 还是第一次尝试. 如果走代理能解决问题么
    flynaj
        4
    flynaj  
       Apr 29, 2022 via Android   ❤️ 1
    cloudflare 对付爬虫可以一流的。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3649 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 77ms · UTC 10:24 · PVG 18:24 · LAX 03:24 · JFK 06:24
    ♥ Do have faith in what you're doing.