网站 nginx 错误日志里面有大量百度过来的访问不存在目录文件记录?请问是什么情况

2018-04-04 10:53:18 +08:00
 king2014

每天超过 5 万条这种错误日志
1.先查了下网站下面的这个目录.可以确认的是没有这个 /ys/fakeimg/目录,应该是从开始就没有存在过
2.403forbidden 是我 nginx 做了处理控制访问目录.
3.查了下下这些 ip 基本上都是属于百度爬虫,前天设置 Robots 文件禁止爬取这个目录,还是不停访问这个不存在的目录
4.虽然对我网站也没什么影响,表面上看不出来影响,但是每天那么多错误访问看着心里不舒服
5.现在我如何调查为什么百度的 ip 大量的访问这个不存在的目录呢?
下面是日志截图,隐藏了我自己网站域名了
https://wx1.sinaimg.cn/mw690/725fbea0gy1fq0foz14i3j219n0noq9x.jpg

1438 次点击
所在节点    问与答
9 条回复
king2014
2018-04-04 10:55:13 +08:00
locktionc
2018-04-04 10:58:57 +08:00
/ys/fakeimg/有点像很久之前的永硕网盘的地址。。。
7654
2018-04-04 11:00:17 +08:00
查查这个域名&IP 历史，百度以前收录过了吧
king2014
2018-04-04 11:05:34 +08:00
@7654 如果是之前被收入过的,我该如何处理?
sisterth
2018-04-04 11:10:14 +08:00
如果网站正常收录，且排名不受影响的话，可以不用管，现在日志都没怎么看了，除了上新站的时候看一下蜘蛛的爬取记录
king2014
2018-04-04 11:11:29 +08:00
@sisterth 嗯,实在没办法就只能这样了
king2014
2018-04-04 11:11:53 +08:00
@locktionc 应该不是
aaronchou0
2018-04-04 11:14:26 +08:00
怎么有点像我之前做的网站呢
king2014
2018-04-04 11:17:53 +08:00
@aaronchou0 什么意思?

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/444215

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX