关于搜索引擎蜘蛛问题

[Tianyan]

同一个 ip 既是 bing 的 也是 360 的 这种情况是怎么回事

[Ptu2sha]

show me the code

[Tianyan]

180.101.204.156 - - [14/May/2022:10:56:58 +0800] "GET /tag/ HTTP/1.1" 200 11560 "https://***.com/tag/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider" "***.com" "text/html" "/usr/home/byu68/htdocs/index.php" 1117933

180.101.204.156 - - [14/May/2022:10:33:28 +0800] "GET /323.html HTTP/1.1" 200 10948 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" "***.com" "text/html" "/usr/home/byu68/htdocs/index.php" 1803641

[Tianyan]

@Ptu2sha 两个一样的 ip 不同的搜索引擎

[binux]

UA 瞎写的

[cnrting]

我还可以写成 Googlebot🐶

[Tianyan]

@cnrting 这种怎么屏蔽？

[billlee]

@Tianyan google 有提供他们 bot 使用的 IP 段