请教一个无头版本 Chrome 问题

2022-01-08 22:28:29 +08:00
 herozzm

目标网站： http://ccgp-gansu.gov.cn 无头版本 Chrome 浏览仅返回<html><head></head><body></body></html>，和真实浏览器返回的内容完全不一样，请问大神问题出在什么地方？

1030 次点击
所在节点    问与答
8 条回复
pelloz
2022-01-08 22:40:30 +08:00
问题出在你不应该爬网站，更不应该爬 zf 网站。你这个问题或许监狱有狱友可以教你。
ClericPy
2022-01-08 22:41:45 +08:00
好大一坨 JS... 还老是跳 dns 找不到 ip... 这是反爬还是别的
ALTER2333
2022-01-08 22:41:59 +08:00
假如无头是指无 User-Agent 头，那可能是服务器端做了防爬虫？对于非正常请求（无 UA ）做特定的返回
also24
2022-01-08 22:43:21 +08:00
@ALTER2333 #3
指的是 Headless Chrome
https://developers.google.com/web/updates/2017/04/headless-chrome
herozzm
2022-01-08 22:52:23 +08:00
@ALTER2333 指的是 Headless Chrome
herozzm
2022-01-08 22:53:27 +08:00
找到原因了，网站封禁了 Headless Chrome 固定的 user-agent
chinemds
2022-01-08 23:03:48 +08:00
真刑啊
wunonglin
2022-01-08 23:19:24 +08:00
@herozzm #6 刑了，问题解决了

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/827048

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX