从 VPS 爬虫 抓取被 cloudflare access denied

2022-04-28 13:06:41 +08:00
 hechaov

首先在自己本地电脑抓取没问题, 可以用的是 python3 cfscrape

脚本 放到 VPS 主机上就不行了

error code: 1020

curl --request GET --url https://api.opensea.io/api/v1/asset_contract/0x06012c8cf97bead5deae237070f9587f8e7a266d

返回的信息的 cloudflare access denined

先谢谢大哥们

1542 次点击
所在节点    问与答
4 条回复
oh
2022-04-28 13:34:14 +08:00
应该是 VPS 的 IP 地址被 Cloudflare 识别是机房网络了吧，加上频繁请求
felixcode
2022-04-28 13:39:29 +08:00
网站也可以主动提交爬虫 ip 给 cloudflare 防火墙名单的。
hechaov
2022-04-28 14:15:56 +08:00
请求不频繁 还是第一次尝试. 如果走代理能解决问题么
flynaj
2022-04-29 07:46:55 +08:00
cloudflare 对付爬虫可以一流的。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/849778

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX