未公开的域名被蜘蛛爬，到底是哪一环出了问题？

[CloudnuY]

• 域名 NS 放在CloudXNS
• 独立 IP 地址 VPS
• VPS 安装宝塔Linux 管理
• 给朋友用微信发送过网址， log 里有微信跳转服务用IE 的 User-Agent的访问记录以及微信内部浏览器 Micromessage 的 UA
• 给朋友用 QQ 发送过网址， log 里只有QQ 浏览器的 UA
• 我自己使用官网下载的Chrome浏览器，未安装其他扩展
• 未使用任何网站监控服务

先后被 GoogleBot 、 BaiduBot 、 Baidu-YunGuanCe 等蜘蛛爬，发现之后写了Deny * 的 robot.txt ，这几个蜘蛛还在爬，除了云观测其他的都在爬一些不存在的网页，被服务器返回了 404 。

部分日志如下图

[wjm2038]

chrome 访问过就会被爬， qq 微信也同理。。。

[CloudnuY]

@wjm2038 所以说用 Chrome 访问过的 URL 就会被提交到 googlebot 吗…………

那为什么他要爬一些并不存在的网址。。。

[wjm2038]

@CloudnuY 你这个日志没有的话我也不知道为什么啊。。你好歹贴个日志啊，顺便记得把网址手动打码

[wjm2038]

@CloudnuY 顺便根据我猜测，谷歌爬的是看你这个是什么框架的，百度的没看到 404 ，还有谷歌会忽略 deny *的

[twl007]

@wjm2038 Google 应该不是忽略 而是该抓还是抓 只是最后不会在搜索结果页面呈现出来罢了

[badcode]

这个问题涉及的不仅仅是网站这边，还有访客的环境！

[forestyuan]

域名只要注册了，都能在 whois 查到，所以我觉得不存在公不公开的问题

[CloudnuY]

@badcode @wjm2038 访客只用微信和 QQ 打开过，百度的云观测怎么就知道这个二级域名了呢。。。


@forestyuan 其实准确的说是未公开的二级域名。。。

[ye10010]

会否是宝塔软件或者 cloudxns 会自动推送?
反正 dnspod 上可以开启搜索引擎推送功能.

[CloudnuY]

@ye10010 设置里面都没开通这功能，难道会偷偷推送。。。