小蛇搜搜
是一个专搜个人博客的小应用,迄今为止 建千万级别博客索引,爬取十万级别个人独立博客域名;愿景是网罗全网的个人技术博客,做一个纯粹的技术博客搜索平台!
主要的技术
一说索引可能有人觉得就是用的
es, 其实这里,自己实现索引的时候没有用索引,直接自己动手实现简单的倒排 +skiplist,不光是内存贮存数据,也能支持落盘和从磁盘加载形成倒排等操作;
项目 demo 地址:http://49.233.52.50/,如果要使用
github登录, 需要用本地 charles 代理下域名:www.xiaoshesoso.com 到 http://49.233.52.50; 主要爬取独立博客,并按照博主的热度进行简单排序,也可以时间排序!
简单的页面样子:
- 主页:
- 搜索页面
欢迎大家拍砖,试玩,大家有啥好的想法可以一起分享哈,一起多多提建议吧🙏:https://github.com/funeyu/snake-web-server/issues/1;
项目代码
-
先放出小蛇搜搜的 nodejs 做的前台 server 代码: https://github.com/funeyu/snake-web-server; 该 nodejs 代码基于 koa2 二次封装,项目逻辑比较清晰,欢迎大家加星等操作!!!
-
后续会依次会将所有的 ui 层( react )代码,索引层代码和爬虫( golang )一并慢慢放出;