我有个爬虫,每天爬 20 分钟这样,一直没啥问题,不过最近发现被 cloudflare 订上,总有那个 recaptcha,爬虫也不大正常了
现在有合适的办法解决了吗? github 上看到了这个
https://github.com/Anorov/cloudflare-scrape,作者说是不能对付有 captcha 的。
另外想到一个办法是换 ip,查了一下,好像有点麻烦,上一次 ISP 不知道什么原因给我自动换了一次 ip,但我查了下好像要换都挺麻烦,说最快的办法是改 modem 的 mac,这个改不了
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://www.v2ex.com/t/600558
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.