请问我的网站上有些页面并没有显示出来过，为什么 google 可以收录呢？

2018-12-17 05:03:02 +08:00
 fbqk2008

我确定也没有发布到别的地方。

难道出了奇了吗？

对单独目录学个禁爬声明有用吗？

3847 次点击
所在节点    搜索引擎优化
9 条回复
soha
2018-12-17 07:43:50 +08:00
/robots.txt ，请。这个文件就是给蜘蛛 /爬虫看的。

搜索引擎肯定会严格按照你写的 robots.txt 来爬，有良心的造爬虫的人也会按照它的限制来做。
zmj1316
2018-12-17 09:00:24 +08:00
问你的 chrome🤣
fbqk2008
2018-12-17 09:15:13 +08:00
@zmj1316 我还真的在用 chrome。谷歌都把访问记录同步的么。
fbqk2008
2018-12-17 09:15:33 +08:00
@soha 好的，谢谢
Wincer
2018-12-17 09:35:11 +08:00
设置一下 noindex
fbqk2008
2018-12-17 09:47:35 +08:00
@Wincer 好的，原来这个有关系呀？ google 怎么知道的呢
Wincer
2018-12-17 10:02:37 +08:00
@fbqk2008 我不确定是 chrome 记录还是有其他被抓取过的页面有指向你某些未被抓取页面的链接
dobelee
2018-12-17 10:06:09 +08:00
没显示出来过是什么意思？有链接能进去就能爬到啊。
fbqk2008
2018-12-18 03:07:30 +08:00
@dobelee 我确定没有链接进去

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/518120

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX