京东没有 robots.txt 是怎样防止爬虫抓取的

[3kkkk]

试了下京东 www.jd.com/robots.txt 跳首页了。这中间是有什么故事让其它搜索引擎没有抓取他家数据。

[Jooooooooo]

这...爬虫真想爬你还用 robots 拦吗.

都是有个专门的反爬团队做反爬相关的东西

而且搜索引擎明明收录了京东, 随便一搜就能搜到, 比如 java site:jd.com

[Xusually]

确实很奇怪，之前是有的。

[cairnechen]

User-agent: *
Disallow: /?*
Disallow: /pop/*.html
Disallow: /pinpai/*.html?*
User-agent: EtaoSpider
Disallow: /
User-agent: HuihuiSpider
Disallow: /
User-agent: GwdangSpider
Disallow: /
User-agent: WochachaSpider
Disallow: /

去年 11 月 10 号因为未知原因下线了

[muzuiget]

robots.txt 只是君子协定。

[ytll21]

京东其实没有动力做反爬，因为它主要以自营为主，所以和亚马逊类似逻辑，成交越多越好。淘宝的逻辑会有点不一样，因为淘宝盈利点在于店铺流量，所以让搜索引擎把流量吸走的做法是不符合它自身利益的。

[ytll21]

恩，这只是我的一点不成熟的想法，欢迎指正 dodge

[k9982874]

放 robots.txt 对国内搜索引擎反而是一份 sitemap

[liuzhaowei55]

各家爬虫会使用特别的 ua ，针对 ua 做了处理吧

[locoz]

有没有 robots.txt 都不影响被爬和反爬，robots.txt 只是君子协定而已。

[vanton]

@ytll21 #5

没错，淘宝现在是广告平台

[gam2046]

赞同#5 说法，以自营为主的情况下，其实京东相比之下，并不关心流量来源，重要的是有流量，其次是有成交。所以应该是巴不得四面八方的人给京东做引流，反正是从 A 搜索来成交，还是从 B 搜索来成交，都是自营，没差别。

至于京东的第三方商家，京东自己都不太管他们死活。

而淘宝需要自己掌握流量的核心诉求是，淘宝自己要卖流量给第三方商家，如果大量站外流量，会导致淘宝自己无法卖流量。

[karloku]

爬虫和搜索引擎分开说

我是搜索引擎我也不给自营的电商网站做索引啊, 这都是卖钱的广告流量我主动送给他干什么嘛.

[wqhui]

robots 只是说你不想被爬，别人爬不爬还是看别人意愿。。。

[pengtdyd]

我记得之前有个 JD 的人写了一本书 叫亿级流量。。。里面写了一段关于京东爬虫的内容，去看看吧。

[12101111]

Google 5900x site: jd.com
第一条 https://item.jd.com/100016046842.html
第二条 https://item.jd.com/10031652556617.html
显然是允许被爬的

[swulling]

京东希望你来爬，但是不希望你爬价格做比价。所以京东反扒策略一般都做在价格显示上。

淘宝就根本不希望你来爬，所以淘宝把反扒策略做到页面上。

[mineralsalt]

robots: "不要 不要 不要"
爬虫: "叫吧, 你越叫我越兴奋"

[wzw]

@ytll21 亚马逊，好像就没有反爬

[mostkia]

这玩意儿防君子不防小人，真的要做反爬，还得上非人类识别技术，某宝上偶尔客户端刷的快了，都会出现滑动条识别是不是爬虫。

[realskywalker]

你让我不爬我就不爬？