researchery
V2EX  ›  问与答

百度是怎么爬取 Twitter, Google 等被墙网站的网页的?

  •  
  •   researchery · Aug 12, 2023 via Android · 2210 views
    This topic created in 1012 days ago, the information mentioned may be changed or developed.
    比如在百度中搜索 site:twitter.com
    6 replies    2023-08-12 19:29:38 +08:00
    opengps
        1
    opengps  
       Aug 12, 2023
    百度有海外节点的,但 twitter 似乎故意不允许 google 之外收录
    https://twitter.com/robots.txt
    em70
        2
    em70  
       Aug 12, 2023
    百度云开个海外服务器不就行了
    BugCry
        3
    BugCry  
       Aug 12, 2023 via Android
    因为有的百度用户能翻墙(误
    wdlth
        4
    wdlth  
       Aug 12, 2023
    百度在美国、日本和香港特区等有服务器
    sHZYH87f257gf5o6
        5
    sHZYH87f257gf5o6  
       Aug 12, 2023 via Android
    企业有境外服务器和专线吧
    Andim
        6
    Andim  
       Aug 12, 2023
    就像楼上各们说的,中国屏蔽了全世界的媒体,但全世界却没屏蔽中国媒体,甚至有 CGTN America 这个在美国的中国电视台
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1176 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 17:46 · PVG 01:46 · LAX 10:46 · JFK 13:46
    ♥ Do have faith in what you're doing.