有没有办法不让搜索引擎收录

2015-11-11 22:43:22 +08:00
 just1

有个自己用的域名不想被收录，但是居然被收录了。。。 Google 和百度都有。可以防止被收录吗。 robots.txt 只是'由于此网站的 robots.txt ，系统未提供关于该结果的说明 - 了解详情。'

7145 次点击
所在节点    程序员
56 条回复
ChanneW
2015-11-12 09:45:43 +08:00
全部 js 生成 动态 dom
quericy
2015-11-12 09:53:22 +08:00
自己访问 host 绑域名
站点设置只有自己本地绑的那个域名才能访问
wubaiqing
2015-11-12 09:55:55 +08:00
robots.txt
```
User-agent: *
Disallow: /
```
aluo1
2015-11-12 10:10:15 +08:00
@wizardoz 哦哦，谢谢 :-)
之前看到一篇文章说到 cgi 写的网页不能被搜索引擎搜到，也不太明白
realpg
2015-11-12 10:13:20 +08:00
做一个 http basic auth ，认证提示是 密码是 123 ，密码是 123 即可
zhanlucky
2015-11-12 10:22:07 +08:00
所有页面的<head>里加上 noindex 标签：
<meta name="robots" content="noindex">
不过注意，网站的 robots.txt 不能屏蔽搜索引擎，不然爬虫永远抓不到这个标签
ajan
2015-11-12 10:25:09 +08:00
参考
https://www.taobao.com/robots.txt
int64ago
2015-11-12 10:26:27 +08:00
AngularJS

or

页面直接生成 SVG ，体验其实也很好
gimp
2015-11-12 10:27:57 +08:00
后台生成图片，返回。
dphdjy
2015-11-12 10:29:08 +08:00
想起来台湾那边那个 PPT 论坛。。。绝对不会被抓取~
sneezry
2015-11-12 10:29:42 +08:00
penjianfeng
2015-11-12 10:38:22 +08:00
@sneezry 好主意，赞一个！
hei1000
2015-11-12 10:44:42 +08:00
存在本地吧
learnshare
2015-11-12 10:56:03 +08:00
Robot 规则
caixiexin
2015-11-12 11:04:22 +08:00
放点能被 GFW 认证的信息，然后国内各大搜索引擎就屏蔽了。
再放点 18x 的东西，谷歌搜索默认也不显示了
=。=
lenovo
2015-11-12 12:08:40 +08:00
禁止爬虫 IP 访问
https://github.com/CNMan/htaccess/blob/master/.htaccess
leavic
2015-11-12 12:10:54 +08:00
内容全部用 javascript 呈现
Tink
2015-11-12 12:19:29 +08:00
全站 ajax 可以
blahgeek
2015-11-12 12:38:18 +08:00
为什么没有人说验证码呢？
hqs123
2015-11-12 12:57:18 +08:00
这个很难做到把...

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/235474

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX