有没有办法不让搜索引擎收录

[just1]

有个自己用的域名不想被收录，但是居然被收录了。。。 Google 和百度都有。可以防止被收录吗。 robots.txt 只是'由于此网站的 robots.txt ，系统未提供关于该结果的说明 - 了解详情。'

[WenJimmy]

@caixiexin 哈哈哈

[bk201]

既然你自己的限制 ip 访问好了

[Shunix]

@fengyqf 又碰见老熟人了

[Felldeadbird]

@kindjeff ajax 返回数据，谷歌照样抓。 太小看现在的技术了

[Smilecc]

@leavic Google 现在的技术已经可以爬到这种站点了

[ilililili]

@dphdjy 这么有意思，啥网站

[dphdjy]

http://m.douban.com/group/topic/27832943/

[icon]

@sneezry 这个看起来挺简单 这个方法有用吗

[hantsy]

添加 robox 在 HTTP Server 。。。

[hantsy]

@int64ago AngularJS 就我的经验看，只有百度蠢，解析不了指令，做 SEO 需要额外的步骤。其它的 Google ， Yahoo ， Bing 不需要任何设置都一样爬得出来。

[hantsy]

@kindjeff 现在针对 Ajax ， SPA 程序的专门 SEO 优化的项目大把。 Google 默认好像就根本不需要优化就可以爬 AngularJS 等。

[vmebeh]

主页用 js 跳转一下

[flowfire]

除了 ban ip 之外，其他的都是防君子不防小人的做法。
伪装 UA 又不是什么很难的事

[fengyqf]

@Shunix 圈子太小，逃走。。。

[ericls]

放到 tor 里

[lenovo]

昨天把 36l 的.htaccess 换成这样貌似也可以阻止爬虫， Serf 是 pagespeed 的 UA

Options -Indexes

SetEnvIf User-Agent "^Mozilla" good_UA
SetEnvIf User-Agent "^Serf" good_UA

<Limit GET HEAD POST>
order deny,allow
allow from env=good_UA
deny from all
</Limit>