爬虫大佬进来，这个没验证码、不限制 ip、不混淆字符的网站能爬出来算我输

[kisshere]

https://pixabay.com

这个站本来准备练练手写爬虫，却严重打击了写爬虫的信心，不限制 ip，没 captcha，你即使复制浏览器的所有 headers，服务器还是能直接一个 403 扔过来，但你用正常浏览器：chrome、Firefox 就能正常访问，这个用的什么反爬技术

[fenghuang]

@haha370104 #40 确实是，用 fiddler 抓包还是跳到检测，难道是检测的证书？

[iamfhd]

大佬们就是厉害。。。。

[kisshere]

@fenghuang 这个感觉就是双缝干涉试验了，你不检测就返回正常 HTML，用 fiddler 一检测，直接就扔 recaptcha 验证了

[monkeyWie]

测试了一下，初步怀疑是 http1.0 协议的客户端直接被 pass，但是我用 curl 指定 http2.0 协议请求也是 403，但是验证肯定还是在 TLS 这层，不是 http 这层，估计 curl 和浏览器的 TLS 握手还是有区别的。

[IGJacklove]

@a494836960 这种到底犯不犯法？上次用浏览器插件爬了一次别人的视频，很慌。。。

[scriptB0y]

这样算是成功了吧：



https://i.loli.net/2020/03/20/HejouMwq2C5yFsU.png

[zzzmh]

建议别爬了，直接申请 api

[leetom]

插个楼问一句
谷歌浏览器开发者工具，有没有 “清除当前网站 Cookies” 类似功能？只清除当前域名下的 Cookies

[no1xsyzy]

uMatrix 拉到全红页面显示不全但还是 200 OK
Postman，Chrome 版 200，但独立版也是 403
这个不太确定是否有关：

[no1xsyzy]

@leetom Application 选项卡，Storage -> Cookies -> 右键域名 -> Clear

[ShundL]

尝试在 charles 下抓完再复制 cURL，请求无效；在手机上用 stream 抓包直接弹验证码。

有点儿意思，关注学习中。

[leetom]

@no1xsyzy 谢谢！
不过这个还是不如在 Network 选项卡那里直接清除方便，搞不懂那里为啥只有一个清除所有 Cookies 的选项

[vanton]

@leetom #52

https://imgchr.com/i/8cNb01

[tlday]

去掉 RequestHeader 里面的 authority 头，然后加--tlsv1.3 就可以了

[tlday]

至于 Chrome 为什么可以发 authority 头。我这里没有同时支持 http/2 和 tls/1.3 的 curl，不知道加了--http2 和--tlsv1.3 的 curl 能不能加 authority 头。

[FaiChou]

brew tap bolmaster2/curl-openssl
brew install curl-openssl@1.1
/usr/local/opt/curl-openssl@1.1/bin/curl --tlsv1.3 ***

[nifury]

@leetom #52
https://imgchr.com/i/8ccuTg

[Delon]

@ShundL cURL 直接请求无效，cURL 设置 Charles 代理无效，cURL 设置 Charles 代理 + MITM 有效，估计是 SSL 握手的问题，再 Charles 外面再设置一层代理或者 wireshark 直接对比应该可以看出来，懒得折腾了

[no1xsyzy]

@tlday 我这边默认 TLSv1.3 不行，结果加上 --tls-max 1.2 竟然可以了……
authority 是在哪？我闭着眼睛按 -v 都没有……

[lqzhgood]

F12 复制 curl 导入 postman 正常。。。