爬虫大佬进来，这个没验证码、不限制 ip、不混淆字符的网站能爬出来算我输

[kisshere]

https://pixabay.com

这个站本来准备练练手写爬虫，却严重打击了写爬虫的信心，不限制 ip，没 captcha，你即使复制浏览器的所有 headers，服务器还是能直接一个 403 扔过来，但你用正常浏览器：chrome、Firefox 就能正常访问，这个用的什么反爬技术

[qsnow6]

就不给你爬

[sphawkcn]

既然能用正常浏览器访问，那你用无头浏览器爬不就行了？

[b821025551b]

https://tva4.sinaimg.cn/large/82dfe143gy1gd061lwt9oj21gc0p4ti2.jpg

没什么特别的

[crella]

禁用了 js 就看不到图片群了，有没有试过 selenium 那些？

[mooyo]

<p data-translate="why_captcha_detail">
<ol>
<li>检测到您的 IP 有风险行为，通过输入验证码来确认非机器访问</li>
<li>网站管理员开启了某些安全功能，需要对访客进行验证</li>
<li>您的网络是公共出口 IP （比如，网吧、公司、ADSL 拨号等），其他人的行为导致出口 IP 被标记为风险，需要用户通过验证方式访问</li>
<li>您的网络环境可能存在风险</li>
</ol>
</p>

[mooyo]

这不是有验证码么

[kisshere]

@b821025551b 能纯文本一下你的 curl 命令吗？我大致看了下跟我的 curl 命令差不多，我本地网络试试

[b821025551b]

@kisshere #7 chrome 可以直接复制 cURL

[XGF]

给👨爬

[azoon]

这个网站还用了百度云加速。。

[loading]

帅不过 3 分钟。(3 楼)

[zhangpeter]

用谷歌推出的 puppeteer

[azoon]

@b821025551b。。。看看 tittle。都被禁止访问了

[lululau]

有 body 就不是 403 了？

我试了 Chrome dev tools 复制出来的 curl 命令确实还是 403，有点意思，研究研究

[nullboy]

??????
https://z4a.net/images/2020/03/20/6.png

[kisshere]

@b821025551b 清除这网站的所有 cookie，刷新 pixabay.com ，能正常访问，然后 F12 里面 copy cURL，403 了，好神奇

[zhenjiachen]

@kisshere 确实是的，用 chrome 复制的 curl 出来还是 403，确实很神奇

[mywaiting]

我能爬，防护的原理不复杂，但是你要自己去发现一下

[b821025551b]

@azoon #13 哦
https://tvax4.sinaimg.cn/large/82dfe143gy1gd06y3fgf1j21ow148nbg.jpg

[b821025551b]

原理很简单，你直接 cURL 出来的东西无法执行 js，只有浏览器环境下才是正常的请求，所以要依靠浏览器去渲染，chrome 的 headless 模式了解一下。