为什么看博客的时候里面的链接总是 404

作为一个野路子程序员，看大牛的博客是学习，进步的很重要的一个信息来源。作为一个信息的汇聚点，博客中总会引用些其他的经典文章，或是某开源项官方文档中的重要部分。然而由于更新博客是很低频率的事件，所以随着时间推移，很可能发生的情况是：大牛引用的另一篇文章已经被删除，或者干脆域名到期，引用的博客关门大吉；由于开源项版本升级，原先的文档已经不适用因而官方删除了。 So, 404...

##现状

尝试测试了阮一峰( http://www.ruanyifeng.com/blog/)，王垠( http://www.yinwang.org/) 等知名博主的博客，发现几乎都有链接失效的问题。可见此问题很常见。

##博主

大多数的博主并不是通过写博客盈利赚钱，所以不可能定期去检查以前博文中的链接是否有效。话说回来，即便真的是通过写博客盈利赚钱，那么多的博文，也不太可能定期去检查以前博文中的链接是否有效吧。。

##读者

虽然对我很不友好，破坏了上下文和文章的完整性，但是习惯了。。认了吧。。。凑合看吧。。

##中国特色

由于众所周知的原因，中国读者遇到引用链接不可访问的情况更多，并且不可访问的链接越来越多。

作为一个独立开发者，用了若干个第三方服务，CDN 等。天有不测风云风云，保不齐哪天哪个服务商就黄了，或者哪个 CDN 又被墙了。。。

##尝试解决

一个可能的解决方法 link doctor

https://doctor.dry.ninja/

博主（站长）在网站注册后，系统尝试定期（每 6 小时 1 次，可设定）对网站进行一次分析，找出失效的引用的链接，或是失效的引用的资源(js, css)，并将分析结果发送给博主（站长）。

目前刚刚有想法做这个东西，并做了个简单的 Demo。在检测的全面性和精准度方面还不做保证。如果真的有博主有这个需求，请收藏、标星。如果没有人有需求的话，就弃坑了。。或者有什么好的建议的话，欢迎提个 issue。

github 地址在此： https://github.com/FingerLiu/link-guard

##技术栈

flask, mysql, redis, gunicorn, scrapy

待解决问题

爬虫被 ban 由于国内和国内网络环境不同，分别部署不同的服务器什么需要检测什么不需要对引用的链接进行备份(snapshot)。

https://doctor.dry.ninja/