cloudflare 是怎么知道我用 requests 的？

[freshgoose]

我通过代理访问一个网站，在流览器访问（隐身模式+禁止 JS ）没问题，可以拿到 html，用 requests.get 就 403 了，显示了 cf 的页面，提示我要滑验证码。

但是我明明把 headers 都凑齐了（通过 Network 把 requests header 一个个复制出来的），跟浏览器用的一个代理，怎么偏偏 requests.get 就 403 了呢？

那个网址是：aHR0cHM6Ly93d3cuYXJ0c3RhdGlvbi5jb20vYXJ0d29yay84bEQ0blE=

大家有空可以研究一下，我实在搞不懂。

[shylockhg]

不太懂，代理做的是转发吧，http 头有字段会声明客户端（ request ）

[wangxiaoaer]

cookie 呢？抓包对比呗。

[ZeroClover]

https://sm.ms/image/MVqWXUfg52E18CJ

这个网站用了 Cloudflare Bot Management

用 cURL 之类的访问，即使模拟了各种 Header 和 UA，在 CF 后台也仍然可以看到 knownBotClientHelloExtensions 这种标识

[freshgoose]

@shylockhg #1 感谢回复，应该是没有声明客户端的，这是我同一环境下请求 httpbin 的结果： https://pastebin.com/b27uaKvW

[freshgoose]

@ZeroClover #3 感谢回复，那为什么我用：同样的 IP + 浏览器隐身模式 + 禁止 JS 又能访问呢，按理来说这样子一搞，跟直接用 requests.get 也没啥区别了吧

[chinvo]

@freshgoose #5 cookie

[ZeroClover]

@freshgoose 我只是客户，不是 CF 的人，他们也不会详细告诉我怎么实现的。

https://sm.ms/image/xlyEC82cPtqz51L

就他们的说法，Bot Management 会通过 JS 来识别 Bot，如果禁止 JS 只是识别率下降，但是那是针对无头浏览器，一般的什么 requests 还是识别率很高

[chinvo]

@freshgoose #5 还有后续请求

curl 不会在加载页面之后继续加载引入的资源

总之，很多行为上的差异

[lance6716]

很多方式，比如让你 5 秒内暴力算一个 js 程序，能算出来的才是有计算资源的浏览器

[yinanc]

@lance6716 啥浏览器这么智能？还能服务器让你做啥就做啥？

[WordTian]

ua?我记得 requests 的 ua 会带一些

[WordTian]

ua?我记得 requests 的 ua 会带 requests 的信息，没

[WordTian]

@WordTian 没打完发出去了，两次。。。

[vibbow]

你看一下 https 握手时使用的协议

[Yourshell]

跟反爬虫一个道理吧

[msg7086]

@yinanc 每个浏览器。

[xihefeng]

有点意思，我明天看看

[love]

你就那么确定真和浏览器发出的一样？不抓包看看？还要比较浏览器头的顺序和大小写。有些语言的 dict 结构没有顺序。

[wd]

他们可以这么做，不是通过者一个请求来判断你是不是合法。比如浏览器访问这个 url 前还访问了其他 url，你直接 request 没有这个逻辑

[alan0liang]

看 #3 说的 knownBotClientHelloExtensions，应该是 TLS 握手的时候 Extensions 顺序什么的不太一样