请问我的网站上有些页面并没有显示出来过，为什么 google 可以收录呢？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› 向 Google 提交 URL

这是一个创建于 2160 天前的主题，其中的信息可能已经有所发展或是发生改变。

我确定也没有发布到别的地方。

难道出了奇了吗？

对单独目录学个禁爬声明有用吗？

9 条回复 • 2018-12-18 03:07:30 +08:00

soha

2018-12-17 07:43:50 +08:00 via Android

/robots.txt ，请。这个文件就是给蜘蛛 /爬虫看的。

搜索引擎肯定会严格按照你写的 robots.txt 来爬，有良心的造爬虫的人也会按照它的限制来做。

zmj1316

2018-12-17 09:00:24 +08:00 via Android

问你的 chrome🤣

fbqk2008

2018-12-17 09:15:13 +08:00

@zmj1316 我还真的在用 chrome。谷歌都把访问记录同步的么。

fbqk2008

2018-12-17 09:15:33 +08:00

@soha 好的，谢谢

Wincer

2018-12-17 09:35:11 +08:00 via Android

设置一下 noindex

fbqk2008

2018-12-17 09:47:35 +08:00

@Wincer 好的，原来这个有关系呀？ google 怎么知道的呢

Wincer

2018-12-17 10:02:37 +08:00 via Android

@fbqk2008 我不确定是 chrome 记录还是有其他被抓取过的页面有指向你某些未被抓取页面的链接

dobelee

2018-12-17 10:06:09 +08:00 via Android

没显示出来过是什么意思？有链接能进去就能爬到啊。

fbqk2008

2018-12-18 03:07:30 +08:00

@dobelee 我确定没有链接进去