V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
funer
V2EX  ›  分享创造

分享一个自己做的应用--小蛇搜搜(专搜个人博客)

  •  1
     
  •   funer ·
    funeyu · 2020-05-16 06:40:54 +08:00 · 4078 次点击
    这是一个创建于 1413 天前的主题,其中的信息可能已经有所发展或是发生改变。

    小蛇搜搜

    是一个专搜个人博客的小应用,迄今为止 建千万级别博客索引,爬取十万级别个人独立博客域名;愿景是网罗全网的个人技术博客,做一个纯粹的技术博客搜索平台!

    主要的技术

    一说索引可能有人觉得就是用的es, 其实这里,自己实现索引的时候没有用索引,直接自己动手实现简单的倒排 + skiplist,不光是内存贮存数据,也能支持落盘和从磁盘加载形成倒排等操作;

    项目 demo 地址:http://49.233.52.50/,如果要使用github登录, 需要用本地 charles 代理下域名:www.xiaoshesoso.com 到 http://49.233.52.50; 主要爬取独立博客,并按照博主的热度进行简单排序,也可以时间排序!


    简单的页面样子:
    1. 主页: snake1.png
    2. 搜索页面 snake2.png

    欢迎大家拍砖,试玩,大家有啥好的想法可以一起分享哈,一起多多提建议吧🙏:https://github.com/funeyu/snake-web-server/issues/1


    项目代码

    • 先放出小蛇搜搜的 nodejs 做的前台 server 代码: https://github.com/funeyu/snake-web-server; 该 nodejs 代码基于 koa2 二次封装,项目逻辑比较清晰,欢迎大家加星等操作!!!

    • 后续会依次会将所有的 ui 层( react )代码,索引层代码和爬虫( golang )一并慢慢放出;

    第 1 条附言  ·  2020-05-20 18:38:11 +08:00

    最近简单适配一下手机端,欢迎使用哈,大家有啥好的建议都可以提哈,非常感谢~~~ 后续也会继续完善功能,大家要是觉得好用,也可以广而告之哈😆😆 phone1.png phone2.png

    20 条回复    2020-06-17 05:51:41 +08:00
    funer
        1
    funer  
    OP
       2020-05-16 07:06:07 +08:00
    收藏和点赞和踩的功能,必须得是用 github 登录后才能正常使用,用 github 登录,就必须要本地 charles 绑定域名 xiaoshesoso.com, 确实很麻烦,先就这样吧,后面再把域名备案 添加解析~~~~
    calpiswater
        2
    calpiswater  
       2020-05-16 07:07:39 +08:00 via iPhone
    很不错的想法 支持一下 LZ👍
    zukezz
        3
    zukezz  
       2020-05-16 07:30:43 +08:00 via Android
    支持楼主👍
    liyaojian
        4
    liyaojian  
       2020-05-16 09:40:36 +08:00 via iPhone
    为什么要用 charles,本地 host 指一下不行?
    geekzhu
        5
    geekzhu  
       2020-05-16 09:50:15 +08:00
    域名没备案的话,可以直接使用腾讯云的 IP 来访问?
    funer
        6
    funer  
    OP
       2020-05-16 09:52:04 +08:00
    @liyaojian 昨天试了本地修改 host,但是还是被腾讯云平台拦截了,不知道腾讯云那里怎么做到的~~
    funer
        7
    funer  
    OP
       2020-05-16 09:53:00 +08:00
    @geekzhu ip 是可以访问的~~
    luckyrayyy
        8
    luckyrayyy  
       2020-05-16 10:03:09 +08:00
    哈你这个 UI 还真是简介,莫名感觉萌萌的
    JustSong
        9
    JustSong  
       2020-05-16 14:00:08 +08:00
    关注了,坐等开源
    funer
        10
    funer  
    OP
       2020-05-16 14:05:52 +08:00
    @luckyrayyy 虽然自己一直从事前端开发,但对页面设计啥的没有啥头绪,后面慢慢找人帮忙设计下~~~
    lazybios
        11
    lazybios  
       2020-05-16 23:39:38 +08:00
    很赞 希望能持续维护下去
    funer
        12
    funer  
    OP
       2020-05-17 05:05:57 +08:00
    @lazybios 会尽力维护下去的😊🙂~~
    wintercoder
        13
    wintercoder  
       2020-05-17 12:06:34 +08:00
    想法挺好的
    v2ls
        14
    v2ls  
       2020-05-17 16:05:25 +08:00
    支持
    gggyyybbb
        15
    gggyyybbb  
       2020-05-18 09:07:14 +08:00
    楼主抓住了痛点,不错的应用,支持
    herbin
        16
    herbin  
       2020-05-20 11:41:27 +08:00 via iPhone
    666
    funer
        17
    funer  
    OP
       2020-05-21 10:31:40 +08:00
    大家试用的时候,有哪里不爽的,可以一起交流下哈,我这边在下一个版本改下;
    也可以加我微信联系:funer80, 很乐意和大家伙成为朋友~~~~~
    funer
        18
    funer  
    OP
       2020-05-23 09:40:46 +08:00
    网站 ip 访问先暂停段时间~~~~
    Duduchao
        19
    Duduchao  
       2020-06-17 01:11:12 +08:00
    请问:您是把爬到的内容都存到服务器了吗,搜起来这么快
    funer
        20
    funer  
    OP
       2020-06-17 05:51:41 +08:00
    @Duduchao 嗯,是的,原始数据自己爬的,索引排序啥的自己处理
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3646 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 10:26 · PVG 18:26 · LAX 03:26 · JFK 06:26
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.