有没有办法不让搜索引擎收录

[just1]

有个自己用的域名不想被收录，但是居然被收录了。。。 Google 和百度都有。可以防止被收录吗。 robots.txt 只是'由于此网站的 robots.txt ，系统未提供关于该结果的说明 - 了解详情。'

[Liang]

user-agent 来自蜘蛛就 404 ，这样可以吗？

[miyuki]

不用 Chrome

[kuzhan]

不解析域名 自己访问设置 host

[dphdjy]

那么这个网站干嘛的~~

[imn1]

你应该开到暗网里面

[congeec]

@kuzhan 裸 IP ，没域名也能被爬....
Robots.txt 只能问人家愿不愿意爬你... 暗网是个好主意 噗哈哈。

[Hello1995]

我干过这么中二的事情。
方法一： robots.txt 。但是可能有些蜘蛛不遵守…
方法二：屏蔽蜘蛛 IP 。 但是工程量大…
方法三：屏蔽 UA 。 简单屏蔽 spider 和 bot 关键字…

[aluo1]

是不是用 cgi 写的网页不会被爬？
求指教 :-)

[sivacohan]

全站 flash

[kindjeff]

AJAX 返回数据，不会被搜素引擎爬取

[franticonion]

那就写个脚本刷 server 的 access log 了 屏蔽所有 spider 的 user agent 或者 ip

[mcone]

你就是裸 ip 不绑域名照样能被爬到，更何况你已经有域名指过去了……

@Hello1995 说的方法貌似还可以，但是还得加上一条，不许任何人使用 chrome/360 浏览器访问你的网站（搜狗有没有我还不知道，但是，我觉得吧…………），这俩浏览器都会根据你输入的网址去爬的

多说一句，以上两个浏览器都是我当年测试过的，不保证现在还是这样，有兴趣的话你可以弄个很奇葩的 N 级域名指过去，指到一个随机生成文字的静态页面上测一测。

[wizardoz]

@aluo1 cgi 接口只是服务器端内部的交互方式，从访问者来看无法区分。

[crazycen]

网站不要监听 80 443 端口

[imlinhanchao]

<meta name="robots" content="noindex, nofollow, nosnippet, noarchive">

[frozenshadow]

检测一下访问者的 8080 80 3306 。。。这种奇怪的端口有没有开

[datocp]

qq 空间就因为有个人做了一个爬行网站，不得不加密码。现在自己的 blog 架在网上方便浏览，做了登录密码限制只允许自己看。

[fengyqf]

检查某个 cookie ，如缺失或非法就返回 404 （或其它异常状态）
然后自己做个隐秘的地址生成该 cookie ，或在浏览器里手工设置 cookie-其实也算是暗网了。

[deadEgg]

robot.txt
not allow : /;

好像是这么写的 可以看看 http 权威指南

[raptor]

简单加一个 basic auth 即可