最近在调试 Cloudflare Workers ,发现日志中总有莫名其妙的请求。IP 来源是俄罗斯,UA 是 Yandex 的爬虫。
具体表现为,当我访问只有我知道的一个 API 地址时,5 分钟之后会有 Yandex 爬虫访问该地址。由于是 HTTPS 链接,检查过证书没有问题,因此排除 MITM 。
首先怀疑自己安装的插件,于是开 InPrevite 窗口,该问题复现。新建一个 Edge Profile ,请求该 URL ,依然复现。因此排除是插件问题。
使用 Firefox 请求该 URL ,无法复现。
1
f056917 2022-06-30 15:28:21 +08:00
俄罗斯?
|
2
12101111 2022-06-30 15:33:44 +08:00
中毒了吧
|
3
cnrting 2022-06-30 16:02:21 +08:00 via iPhone 1
開了 index now 吧
|
4
wangshouh 2022-06-30 17:25:48 +08:00 1
个人感觉是 indexnow 的锅,但 indexnow 一般是默认关闭,你可以之前打开过,可以看一下 cloudflare 自己对于 indexnow 的[博客]( https://blog.cloudflare.com/cloudflare-now-supports-indexnow/)
|
5
zxxufo008 2022-06-30 17:38:01 +08:00
怀疑是 edge 浏览器的问题,应该去用 chrome 去复现吧,火狐和 edge chromium 架构都不一样
|
6
wiix 2022-06-30 18:07:47 +08:00 1
|
7
dfgxcvbcv 2022-06-30 18:15:36 +08:00
虽然感觉不太像,但 MS Edge 除了是主流浏览器中上报设备信息和遥测数据最多的浏览器,还是唯一一个同步没有端到端加密的浏览器 techcommunity.microsoft.com/t5/discussions/edge-continues-to-be-the-only-major-browser-with-no-end-to-end/m-p/1865592
|
8
wiix 2022-06-30 18:18:45 +08:00 1
|
10
learningman 2022-06-30 18:23:54 +08:00
在我自己服务器上开了个端口用 edge 访问了,目前无法复现
|
11
learningman 2022-06-30 18:24:07 +08:00
@c0t #9 现在也会
|
13
xmoer 2022-06-30 18:42:56 +08:00
我记得之前 edge 浏览器会弹出一个数据共享的弹窗,点开看详细能见到一大堆合作商列表,会不会是这个导致的?我自己当时是把所有的合作商勾选都去掉了。
|
14
rpman 2022-06-30 21:19:30 +08:00 via iPhone
商业软件,不爱不要用 🐶
|
16
greenskinmonster 2022-06-30 21:39:02 +08:00 1
微软靠得住,母猪也上树。
|
17
SunsetShimmer 2022-06-30 22:03:32 +08:00
Cloudflare 也有帮助搜索引擎的选项,先用 robots.txt 试试吧
|
19
HertzHz 2022-07-01 07:32:14 +08:00
我用的是 Chrome ,当时搭建了一个东西,是从未使用过的域名,在 Chrome 访问后 Yandex Bot 也马上就到了,当时非常非常疑惑,现在看来难道是 Chromium 里的某个东西导致的?
|
20
HertzHz 2022-07-01 07:34:13 +08:00
搜索了下,好像是 Cloudflare 导致的,有帮助搜索引擎的选项
|