京东没有 robots.txt 是怎样防止爬虫抓取的

2021-12-02 17:19:45 +08:00
 3kkkk

试了下京东 www.jd.com/robots.txt 跳首页了。这中间是有什么故事让其它搜索引擎没有抓取他家数据。

6627 次点击
所在节点    程序员
25 条回复
chenzheyu
2021-12-03 10:15:53 +08:00
@wzw  谁说的，直接至少国际站直接就会被发现是爬虫
wzw
2021-12-03 10:28:31 +08:00
@chenzheyu 别爬那么快, 应该还好吧, 限制没那么严格
efaun
2021-12-03 13:44:46 +08:00
@mostkia #19 我在电脑上用高德必现那个玩意, 拖动一次地图来一次, 辣鸡
solar
2021-12-03 15:28:47 +08:00
robots.txt 只是个君子协议而已，并没有法律效力或强制性的。
jiafeiblog
2022-04-22 10:00:56 +08:00
amazon 还是有反爬的，只是人家的容忍度要高得多

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/819594

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX