因为公司是做信息管理系统软件的，为了增加客户来源，需要做一下官网的 SEO，会遇到各种各样的问题：
1，修改了首页的 TDK，搜索引擎为什么没有更新呢？
2，新增加了各种页面，比如做了区域分站模式，为什么不收录？
.....
凡此种种，当然也没有固定答案的，但有一点是肯定的：
如果搜索引擎蜘蛛没爬过相关页面，那是不可能更新和收录，所以，做 SEO，先要分析一下日志，了解一下蜘蛛的爬取规律是很有必要的。
程序员嘛，喜欢造轮子，往往是与其花时间去找工具，不如自己写了一个。
网站蜘蛛日志分析工具：
https://www.duo66.com/rizhi/这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://www.v2ex.com/t/722519
V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.