是百度蜘蛛抽风了吗? 求 V 友解答!

2016-03-26 22:42:05 +08:00
 wujunze

今天去百度看看我博客的收录情况,发现一个奇怪的问题.

百度说我的网站存在 robots.txt 指令限制? 我立马检查了一下我的 robots.txt

发现我的 robos.txt 并没有问题 之前百度收录也是正常的 https://wujunze.com

** 我看看 Google 和 360 收录是否正常

Google 和 360 收录都是正常的

那我就搞不明白百度蜘蛛这是闹哪样?

请 V 友帮忙解答一下

2539 次点击
所在节点    搜索引擎优化
15 条回复
wujunze
2016-03-26 22:50:13 +08:00
有没有知道的?
Lullaby
2016-03-26 22:52:23 +08:00
你之前有没有限制过 BaiduSpider ？
wujunze
2016-03-26 22:56:08 +08:00
@Lullaby 重来没有限制过 BaiduSpider
m939594960
2016-03-26 23:25:42 +08:00
去站长工具看看 有个 robots 检测
还有百度出现这种问题挺正常的。
site:***.com 经常会出问题，有的时候还会混进别的额网站，有的时候关键词描述 完全不符

你可以随便查个关键词（能找到你的网站的） 看看底下的东西对不
wujunze
2016-03-26 23:40:18 +08:00
@m939594960 去站长工具检测 robots.txt 了 是没有限制的
![test]( http://i13.tietuku.cn/90d52a45ad798cd6.png)
我网站的百度收录全掉了
* 现在搜关键词搜不到我的网站了
m939594960
2016-03-26 23:47:40 +08:00
观察了半天 发现真的没什么问题。。 mark 下等高人解密
just1
2016-03-27 01:13:58 +08:00
请问一下 sitemap 是用什么生成的呢。之前用百度提供的 wordpress 插件，刚刚看了一下，从 20151122 之后就再也没更新了 wtf ，怪不得几个月没新收录
cxh116
2016-03-27 09:46:20 +08:00
开了 https ，百度掉了正常。
wujunze
2016-03-27 11:17:35 +08:00
@just1 我刚才去检查了一下,我的 sitemap 生成的没问题 之前收录一直是正常的,突然就全掉了
@cxh116 这个 robots.txt 限制跟 HTTPS 没有关系吧 ** 我之前一直开启 HTTPS ** 网站收录也是正常的
wujunze
2016-03-27 11:20:39 +08:00
@Lullaby
@m939594960
@just1
@cxh116 帖子要沉了....... 有没有高手帮忙解答一下? 帮忙邀请点高手来回答
Lullaby
2016-03-27 13:01:51 +08:00
看下你 80/443 端口的 access 日志有没有机器人爬取记录
实在不行把 robots.txt 先去掉
不一定是技术原因，人为原因也是可能的你懂的，百度这货谁知道
techyan
2016-03-27 13:12:41 +08:00
百度，你懂的。反正我自己的站开全站 https+HSTS ，百度索引完全正常，并且很勤。
wujunze
2016-03-27 13:29:22 +08:00
@Lullaby 我检查一下日志 百度这货....
@techyan 我的网站之前一直收录正常的,昨天突然发现收录的全掉了
zangbob
2016-03-27 19:50:11 +08:00
如果不太懂设计 robots.txt ，就直接删了，不要放。
wujunze
2016-03-27 23:05:29 +08:00
@zangbob robots.txt 的指令是没有问题的

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/266554

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX