百度蜘蛛抓取我们网站, 网址却包含他人的域名, 是为什么

[RickyC]

2020-11-26 01:04:44 GET / s=www.yidianxueche.cn 80 - 27.159.78.41 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) 200 0 0 130

2020-11-26 01:04:44 GET / s=www.sw-jewelry.cn 80 - 27.159.78.40 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) 200 0 0 142

2020-11-26 01:04:46 GET / s=www.lyjzfw.cn 80 - 27.159.78.50 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) 200 0 0 138

2020-11-26 01:04:47 GET / s=www.longdugame.cn 80 - 27.159.78.52 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) 200 0 0 141

以上是一些抓取记录, 百度都在我们网站的根目录加上了 s=别人的域名, 如 www.xxx.com/s=www.longdugame.cn 而且还很多 这是什么原理? 在我们网站的代码里并找不到这些域名

[RickyC]

# V2EX 是否支持 markdown?

## 看看

[itskingname]

这是一种常规的刷排名的手段。你以 『你的域名 /s=别人的域名』在百度上搜索一下看看。他们通过这种方式把自己网站的排名往上刷。

[oott123]

27.159.78.50 中国 福建 厦门 chinatelecom.com.cn

看上去不像是合法的百度蜘蛛的 IP

[RickyC]

@itskingname 那有什么解决的方法吗? 百度是怎么得到这些网址的?

[RickyC]

@oott123 UA 都写了是 baiduspider

[oott123]

@RickyC UA 写了 baiduspider 不代表它就是真的百度蜘蛛，就像我声称我有一百万不代表我真的有一百万一样。

[Rxianbei]

@RickyC 楼主对 HTTP 协议没有基本的了解啊，ua 头是自定义的，你想改成什么都可以，你甚至可以改成 baidudasabi

[Xusually]

1 、国际上的一些搜索引擎有自己的 spider ip 段公布的，百度暂时没有官方的查询公布，但是可以通过 ip 反查 ptr 来看是不是百度的蜘蛛
2 、UA 可以随便伪造
3 、你贴的这种行为是标准的恶意辣鸡 seo，还有往你的搜索接口灌各种辣鸡 url 和关键词的恶意搜索等等

[westoy]

这是面向站长打广告的

主流蜘蛛的 IP 都可以反查的

蜘蛛可能会用非标 IP 去检测站长有没有面向引擎针对性吐数据 SEO， 但这时候也不会挂爬虫自己的标准 UA

[007yxc]

我 tm 在工位点了你的链接，我靠- - 还好我手速快关掉了。。。。

[RickyC]

@Xusually 我发的如果不是真正 baiduspider, 那别人刷这些网址的意义是什么?

[Xusually]

@RickyC 恶意的 SEO，举个其中一种简单的例子，假如你的系统有一个搜索功能，那么对方把自己的垃圾信息，比如自己的辣鸡站点的域名、关键字什么的他想 seo 的东西，提交给你的搜索系统。那么有机会你的搜索系统会统计用户搜索的关键字，把他大量提交的辣鸡关键字当作用户的搜索意图，提升了权重，或者进入类似于热搜榜之类的东西。

[id7368]

nslookup 百度蜘蛛 ip 如果返回的地址带百度域名就是真蜘蛛 反之也是假冒的 可以将 ip 封锁

[opengps]

可能不是真爬虫，而是用来想你打广告的机器人干的