今天在 V2EX 的日志里看到这样的一个 UA: Applebot

2015-08-12 12:35:30 +08:00
 Livid
Mozilla/5.0 (compatible; Applebot/0.3; +http://www.apple.com/go/applebot)

来自 IP 17.138.57.82

貌似确实是苹果家的爬虫。

5107 次点击
所在节点    站长
7 条回复
blank_dlh
2015-08-12 12:40:34 +08:00
是的,我在测 iOS 9 新的搜索的时候抓到过。
blank_dlh
2015-08-12 12:40:50 +08:00
skydiver
2015-08-12 12:41:25 +08:00
http://www.apple.com/go/applebot 这个链接确实可以访问的。

Applebot 是 Apple 的 Web 爬虫工具,使用此工具的产品包括 Siri 和 Spotlight 建议。其遵守 robots.txt 惯例规则和机器人元标签。这个工具源自 17.0.0.0 网络块。

如果机器人指令没有提及 Applebot,但提及了 Googlebot,Apple 机器人会遵循 Googlebot 指令。

Apple对Google是真爱啊。。
hweining
2015-08-12 13:22:09 +08:00
这是在对苹果news应用进行测试吗?好像苹果一直在爬社交媒体的热门关键词用在输入法里面
Croath
2015-08-12 13:24:14 +08:00
不是 news,是 Spotlight 搜索
dingtianran
2015-08-12 15:23:20 +08:00
News 也应该是,因为 CloudKit 会 host 所有 News 的内容,都是按照 RSS 爬来的
49
2015-08-12 15:33:05 +08:00
字母表里,A有了。G(ay)有了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/212628

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX