现在访问一些“非法”网站会被劫持到反诈提醒，想知道他们是怎样识别浏览器和 curl 之类的工具的

[systemcall]

现在我这边在没有开代理的情况下，访问一些“非法”网站，像 YouTube 、推特之类的，都会被尝试劫持到反诈提示。方式似乎是 DNS 污染。
网站看上去非常简陋，但是似乎做了很多严格的限制，不仅只能用浏览器访问，而且 IP 似乎会变动
尝试使用 curl 进行访问，直接会超时，根本没有到握手的那步
我知道 HTTPS 连接可以通过识别 TLS 指纹来鉴别，但是 HTTP 连接应该没有 TLS 指纹吧

[ysc3839]

估计是看 user agent 的吧

[dcsuibian]

不懂，但会不会是重定向问题？

[systemcall]

@ysc3839 #1
UA 加了参数试过了

@dcsuibian #2
浏览器里面单独打开那个 IP 都行，但是 curl 里面加不加 refer 、加不加 host 都没有用

[liyang5945]

抓包看啊

[proxytoworld]

@systemcall 来个 url 我试试

[systemcall]

@proxytoworld #5
我这边的，有一个是 223.75.236.241

[systemcall]

@proxytoworld #5
看上去做的很粗糙，但是似乎是做了很强的识别的，不是“常规”访问似乎都会被拦截。可能只有湖北才能触发吧，也许要用当地 DNS 服务器先进行一下 DNS 查询，才会对你的 IP 打开连接

[xieqiqiang00]

https://v2ex.com/t/881813

[AoEiuV020CN]

f12 网络 复制为 curl ， 直接发起一模一样的请求，
如果能通，再一个一个参数删减排查，
如果不能通，那直接排除应用层的问题，只能是更底层的判断了，

[proxytoworld]

@systemcall wireshark 看了一下，用浏览器访问，tcp 请求会报`tcp retransmission`错，但貌似浏览器忽略了这个错，之后成功 GET ，用 curl 的时候 tcp 也是和上面一样的错，可能 curl 没有 handle 这个错，

[systemcall]

@AoEiuV020CN #9
curl 的行为和浏览器还是有区别，似乎没办法模仿出来
@proxytoworld #10
naiveproxy 复用了 chrome 的网络栈，能否通过 naiveproxy 做一个可以真正模拟浏览器请求的 curl ？
毕竟在这里就发现了 curl 和浏览器不一样的点