爬虫大佬进来，这个没验证码、不限制 ip、不混淆字符的网站能爬出来算我输

[kisshere]

https://pixabay.com

这个站本来准备练练手写爬虫，却严重打击了写爬虫的信心，不限制 ip，没 captcha，你即使复制浏览器的所有 headers，服务器还是能直接一个 403 扔过来，但你用正常浏览器：chrome、Firefox 就能正常访问，这个用的什么反爬技术

[AmberJiang]

有意思 观望一下

[sunziren]

@JamesChan21 你要笑死我😀

[woscaizi]

很明显啊，不是这个网站在反爬，是 cloudflare 的反爬策略生效了。

[hicdn]

@FaiChou brew install curl-openssl 就行，不用 tap

[fzhyzamt]

试了一下拷贝 curl 直接执行，正常页面。。。。

[hellov22ex]

楼主，你学爬虫要知道一个原理，你人能看到的任何东西，都可以爬下来，就算是图片里面的文字，你喜欢也可以做 OCR，只有想不到，没有做不到

[F0nebula]

@tlday # 54 我这里直接加 --tlsv1.3 就可以了

curl -V
curl 7.69.1 (x86_64-pc-linux-gnu) libcurl/7.69.1 OpenSSL/1.1.1d zlib/1.2.11 libidn2/2.3.0 libpsl/0.21.0 (+libidn2/2.2.0) libssh2/1.9.0 nghttp2/1.39.2
Release-Date: 2020-03-11
Protocols: dict file ftp ftps gopher http https imap imaps pop3 pop3s rtsp scp sftp smb smbs smtp smtps telnet tftp
Features: AsynchDNS GSS-API HTTP2 HTTPS-proxy IDN IPv6 Kerberos Largefile libz NTLM NTLM_WB PSL SPNEGO SSL TLS-SRP UnixSockets

[fenghuang]

http/2 和 tls/1.3 的问题，不支持这两个协议的浏览器打不开这个网站了？

[ik]

@leetom 不介意使用扩展的话可以试试 editthiscookies

[fishfisher]

curl 'https://pixabay.com/' -o /dev/null -s -w %{http_code} \
-H 'authority: pixabay.com' \
-H 'user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36' \
-H 'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9' \
-H 'accept-language: zh-CN,zh;q=0.9,en;q=0.8'; echo

试了一下 curl, 上面 4 个-H 少一个都会 403

[tlday]

@fenghuang 我测试下来 tls/1.3 是必须的，我没有其他不支持 tls/1.3 的浏览器可以测试，所以不知道不支持 tls/1.3 的浏览器能不能看。但是可以 bypass 反爬机制的就是：
1.用 http/1.x，tls/1.3，去掉 authority 头
2.用 http/2，tls/1.3，可以不用去掉 authority 头（推断）

authority 头是 http/2 特有的头，所以不会存在用 http/1.x，却发了 authority 头的浏览器。如果出现这种行为一定不是真人。
https://stackoverflow.com/questions/36019868/authority-http-header-in-chrome-dev-tools

即使真的有人在用不支持 tls/1.3 的浏览器，不是还有个验证页面和 cf_clearance 的 cookie 可以用么。只是体验差一点，但是 CF 他们既然敢这么做，说明现在不支持 tls/1.2 的浏览器应该已经很少了，影响不了绝大多数客户的浏览体验。

[tlday]

不支持 tls/1.2 的浏览器应该已经很少了 => 不支持 tls/1.3 的浏览器应该已经很少了

[monospace]

所以，输了的话会怎样？

[goobai]

splash 随便爬

[nmdx]

@tlday 旧版 Edge 是 tls1.2 win10 的 ie11 也是 可以直接打开，并没有什么问题，所以 tls 版本不是问题

[9684xtpa]

@crella #4 +1 ,selenium 轻松搞定

[ihipop]

@nmdx ua case ？

[dsg001]

cloudflare 的五秒盾，试试能不能找到源 ip

[douglas1997]

@nullboy #15 分享一下 common 呗:-P

[nullboy]

@douglas1997 就创建一个 chrome driver，网上多的是