谷歌了很久对 sitemap 的概念还是很模糊, Google sitemap 是不是就是将一个网站的所有 url 以 xml 形式保存下来?
1
Septembers 2016-01-23 12:42:55 +08:00 via Android
目的是显示的告诉 蜘蛛 “你这个 sitemap 是你需要爬的”
|
2
qgy18 2016-01-23 13:02:16 +08:00 3
sitemap 就是一个 xml ,包含你网站所有的 url ,可以指定更新日期和权重,定期更新。例如我博客的 sitemap 如下:
https://imququ.com/sitemap.xml 生成好 sitemap 之后,你还需要通过站长平台将其主动提交给搜索引擎,当然也可以在 robots.txt 里写上 sitemap 的地址,例如: https://imququ.com/robots.txt 最后,即使你提交了 sitemap ,还是依赖于搜索引擎的 spider 主动来抓,只不过一般抓 sitemap 的频率会高于主站,因为这相当于种子。所以实际上,更好的做法是有更新之后主动 ping 引擎,例如 Google 就支持 XML-RPC 的 weblogUpdates.ping ;百度也有自己的主动推送方法,可以登录他的站长平台看。 |
3
zonzin 2016-01-25 05:54:57 +08:00 via Android
你要的说的是一种。
还有一种是按目录来导航的。 |