Bing 爬虫怎么会爬到我网站的后台管理地址的？

2023-06-05 17:24:23 +08:00
 lFOqSK
发现 Bing 的爬虫竟然直接爬取我的用户后台一个特定的管理地址。

要访问到这个地址，用户必须登录后在后台主页点击按钮跳转。

而 Bing 的爬虫竟然直接就爬取这个地址了。我检查了日志，我的网站对这个请求至始至终只返回 404 给 Bing ，但是它就是锲而不舍地定期爬取这个地址。

我的网站没有提供任何 sitemap 给搜索引擎。公开页面也不存在跳转到这个页面的超链接。不知道它到底是怎么获得这个地址的。

非常奇怪。好奇问下，Bing 会收集 Edge 用户的访问记录来爬取网站吗？
953 次点击
所在节点    问与答
8 条回复
DTCPSS
2023-06-05 17:32:51 +08:00
难道这就是传说中的分布式爬虫
opengps
2023-06-05 17:34:44 +08:00
可能有人把这个地址发在公网了
zenxds
2023-06-05 17:38:00 +08:00
可能是有人或者什么漏洞扫描器伪造 Bing 的爬虫在爬？
Lentin
2023-06-05 17:39:52 +08:00
会。
terence4444
2023-06-05 17:41:03 +08:00
你用 edge 刚问过这个地址吗？
lambdaq
2023-06-05 17:44:31 +08:00
如果你是通用建站程序，估计 bing 有智能。
googlefans
2023-06-05 18:00:07 +08:00
大概率是伪造 bing 的爬虫 扫你服务器
salmon5
58 天前
通过 Edge 的访问记录，微软这是作大恶

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/946010

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX