谷歌的爬虫有点厉害啊

[tubowen]

昨晚看到一个哥们在火车上听别人讨论几个亿的项目 今天想再看一下， 但是只记得标题里面有火车 回家的关键词 就用百度搜索了一下，结果没搜到 https://imgchr.com/i/yJxlk9

用谷歌搜索了一下却搜到了 https://imgchr.com/i/yJxR0g

谷歌爬虫的收录速度这么快的嘛，一天前的帖子就收录了 https://imgchr.com/i/yJzCjK

[eason1874]

一天前已经久了，我经常搜到几十分钟前的

[ronman]

V 站权重挺高的，十多分钟的帖子我都搜到过（可能刚好爬了一番

[superrichman]

你发的这贴子已经被谷歌收录了

[also24]

许多网站会做相应的优化，主动提交的。（不过确定 V2 是否做了）

http://www.google.com.hk/intl/zh-CN/submit_content.html

[tubowen]

@ronman 还真是，我这个帖子发表之后也马上能搜索到

[also24]

typo: 不过不确定 V2 是否做了

[ShinichiYao]

你还没体验过当年 Google 和 Twitter 合作的即时搜索，输入关键词然后就等着看下面搜索结果像自来水一样实时刷新出来

[S179276SP]

duckduckgo 也很厉害，搜索结果一样。

https://duckduckgo.com/?q=site%3Av2ex.com+%E5%9B%9E%E5%AE%B6+%E7%81%AB%E8%BD%A6&ia=web

[S179276SP]

你的帖子也被 duckduckgo 趴到了
https://duckduckgo.com/?q=site%3Av2ex.com+%E8%B0%B7%E6%AD%8C%E7%9A%84%E7%88%AC%E8%99%AB&ia=web

[cnrting]

流量大点的站基本是秒收

[Arthur5]

我可是经常用 google 的快照来看被冲水的帖子，google 的爬虫比某些网站的管理员手都快

[Jooooooooo]

v2 在 google 权重很高

基本发帖很快就能收录

[Tink]

v 站一般是十五分钟

[jjplay]

V 站高权重，实时都是大几千人在线，页面嵌入的是 google analytics，so ...

[systemcall]

v2ex 嵌入了 google analytics 可能是原因之一。其实 bing 也爬的快而且权重非常高
v2ex 有 api 可以获取到最新的主题和回复，应该是隔几分钟查询一下 API，发现新帖子和回复再来爬

[memeda]

08 年时百度 Google 就都做到了啊，权重高的站更新速度都很快的

[zeni123]

google chrome 上面有个选项是默认打开的， 那就是 “预加载网页，以便实现更快速的浏览和搜索” 这个功能

也就是 google 应该有各个网页的 cache，而且也知道这个网站有没有收录。

所以只要有人用 chrome 打开了这个网页，没有收录的网站就会去收录，根本就不需要爬虫慢慢爬