百度是怎么爬取 Twitter， Google 等被墙网站的网页的？

2023-08-12 17:00:46 +08:00
 researchery
比如在百度中搜索 site:twitter.com
1775 次点击
所在节点    问与答
6 条回复
opengps
2023-08-12 17:53:34 +08:00
百度有海外节点的，但 twitter 似乎故意不允许 google 之外收录
https://twitter.com/robots.txt
em70
2023-08-12 18:05:48 +08:00
百度云开个海外服务器不就行了
BugCry
2023-08-12 19:03:14 +08:00
因为有的百度用户能翻墙(误
wdlth
2023-08-12 19:22:38 +08:00
百度在美国、日本和香港特区等有服务器
cocoalovecoke
2023-08-12 19:26:58 +08:00
企业有境外服务器和专线吧
Andim
2023-08-12 19:29:38 +08:00
就像楼上各们说的，中国屏蔽了全世界的媒体，但全世界却没屏蔽中国媒体，甚至有 CGTN America 这个在美国的中国电视台

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/964720

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX