今天在 V2EX 的日志里看到这样的一个 UA： Applebot

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐书目

› 高性能网站建设进阶指南

› High Performance Web Sites

› Google Hacks: Tips & Tools for Finding and Using the World's Information

关于 Google SEO 最好的一本书

这是一个创建于 3394 天前的主题，其中的信息可能已经有所发展或是发生改变。

Mozilla/5.0 (compatible; Applebot/0.3; +http://www.apple.com/go/applebot)

来自 IP 17.138.57.82

貌似确实是苹果家的爬虫。

爬虫

V2EX

applebot

7 条回复 • 2015-08-12 15:33:05 +08:00

blank_dlh

2015-08-12 12:40:34 +08:00

是的，我在测 iOS 9 新的搜索的时候抓到过。

blank_dlh

2015-08-12 12:40:50 +08:00

https://search.developer.apple.com/appsearch-validation-tool/

skydiver

2015-08-12 12:41:25 +08:00

http://www.apple.com/go/applebot 这个链接确实可以访问的。

Applebot 是 Apple 的 Web 爬虫工具，使用此工具的产品包括 Siri 和 Spotlight 建议。其遵守 robots.txt 惯例规则和机器人元标签。这个工具源自 17.0.0.0 网络块。

如果机器人指令没有提及 Applebot，但提及了 Googlebot，Apple 机器人会遵循 Googlebot 指令。

Apple对Google是真爱啊。。

hweining

2015-08-12 13:22:09 +08:00

这是在对苹果news应用进行测试吗？好像苹果一直在爬社交媒体的热门关键词用在输入法里面

Croath

2015-08-12 13:24:14 +08:00

不是 news，是 Spotlight 搜索

dingtianran

2015-08-12 15:23:20 +08:00

News 也应该是，因为 CloudKit 会 host 所有 News 的内容，都是按照 RSS 爬来的

2015-08-12 15:33:05 +08:00

字母表里，A有了。G(ay)有了。