测试网站不小心被百度收录了，通过 useragent 判断并返回 403 有效吗？

[shaojz2005]

测试网站不小心被百度收录了，而且有时候比正式网站的权重更高，无语了。

但是测试网站还要用，不方便关掉。网上看到有个在 nginx 配置里，根据 useragent 来返回 403 的方法：

if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot") { return 403; }

不知道百度这些搜索引擎会不会伪造 useragent 来绕过限制进行收录呢？

[learningman]

建议试试 robots.txt

[shaojz2005]

@learningman 不能阻止收录首页

[googlefans]

将测试域名做 301 转向正式网站域名