一直挺好奇的, Google 是如何抓取隐藏内容的?

2021-02-18 11:43:16 +08:00
 coolcatha
有些论坛的内容是需要回复,或者支付一定的论坛的什么积分才能看到。但是在 Google 直接搜索这些隐藏的内容,发现 Google 已经收录了隐藏的内容,很好奇 Google 是怎么做到的。

难道是这些论坛框架有某些漏洞,通过其他入口可以直接查看隐藏内容吗
3962 次点击
所在节点    Google
21 条回复
Soar360
2021-02-18 23:21:37 +08:00
判断 IP 是不是谷歌爬虫,可以看看 IP 的 rDNS 。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/753855

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX