github page 怎么设置不让谷歌爬虫抓取特定文件夹里的内容？

2016-10-24 20:59:14 +08:00
 yping
向大家请教一下，自己搭建的 github page ，该怎么设置不让谷歌爬虫抓取特定文件夹里的内容？
1837 次点击
所在节点    GitHub
7 条回复
bazingaterry
2016-10-24 21:03:20 +08:00
robots.txt
yping
2016-10-24 21:05:14 +08:00
@bazingaterry 直接在 repo 里加 robots.txt ？
yping
2016-10-24 21:06:57 +08:00
@bazingaterry 我的地址是 username.github.io 这种格式的，也能起作用吗？
rhen
2016-10-24 22:33:01 +08:00
@yping 只要域名 /robots.txt 可以访问到就可以，不行可以用谷歌站长工具检查
Trim21
2016-10-24 22:47:14 +08:00
我记得看到过， GitHub pages 默认就不被 Google 收录。。。。
DoraJDJ
2016-10-24 22:48:00 +08:00
@Trim21 不是百度不收录 GitHub Pages 吗？
Trim21
2016-10-24 23:08:44 +08:00
@DoraJDJ 啊看来是我记错了😂

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/315123

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX