一个网站不想让百度等搜索引擎收录怎么办

2016-08-12 10:31:01 +08:00
 akaayy
我曾经尝试过在 robots.txt 中写明禁止收录,但是对百度无效,百度还是收录了。
其他搜索引擎没有测试

大家试验过有什么好办法吗
3416 次点击
所在节点    问与答
10 条回复
ivmm
2016-08-12 10:33:16 +08:00
deny 百度的 ua
lecher
2016-08-12 10:34:02 +08:00
ban 掉所有 useragent 有 baidu 的请求。
ixiaozhi
2016-08-12 10:34:53 +08:00
alittletrain
2016-08-12 13:48:34 +08:00
cd /
rm -rf ./*
dong3580
2016-08-12 13:54:52 +08:00
@ixiaozhi
没有用,百度根本不鸟你,切身经历。
tasiguo
2016-08-12 14:37:45 +08:00
用 angular/backbone 和 ember 等等
testcaoy7
2016-08-12 15:29:04 +08:00
不能被搜索引擎收入的网站叫做暗网,你应该搭建在 ZeroNet 、 FreeNet 或者 Tor 上
icreeper
2016-08-12 15:31:45 +08:00
@dong3580 这个方法我之前试过几次,都成功了
em70
2016-08-12 15:32:43 +08:00
robots.txt 规则贴出来看看,是不是写错了
hack
2016-08-12 15:38:22 +08:00
ban 掉 useragent 看眼 log 很容易找到 baiduspider

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/298809

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX