设置了 robots.txt
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
User-agent: *
Disallow: /
没用,照样收录。Nginx 中禁止了搜索引擎的 User-Agent:
if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot")
{
return 404;
}
两周过去了,没用,还是收录,此时所有其他搜索引擎都停止了收录。
甚至直接举报了网站,一直显示处理中,没有结果。
为什么百度像狗皮膏药一样恶心?到底怎么才能禁止百度收录网站?
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.