V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
wzw
V2EX  ›  问与答

轻量级的全文检索选哪个? 50 万内。

  •  
  •   wzw · 2020-08-21 18:03:09 +08:00 via iPhone · 2912 次点击
    这是一个创建于 1590 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前只有 20 万条商品数据,python 写的后端 api 。

    目前用 whoosh,用得不爽。

    有什么全文搜索的推荐?
    -可以直接用内存最好。
    -Golang python 都行

    第 1 条附言  ·  2020-08-21 19:08:19 +08:00
    如果自己写一个简易版本的, 直接初始化后方内存, 有什么好的例子可以学习吗、?

    我目前想到开单线程 flask,FastAPI, 向 api 一样提供服务,但是内存这块如何管理?
    12 条回复    2021-11-19 12:26:34 +08:00
    wellsc
        1
    wellsc  
       2020-08-21 18:07:24 +08:00 via iPhone
    Os.popen(‘grep -niR 关键字’)
    wzw
        2
    wzw  
    OP
       2020-08-21 18:13:07 +08:00 via iPhone
    @wellsc 文本在数据库,用 jieba 分词
    jonah
        3
    jonah  
       2020-08-21 18:26:28 +08:00 via Android   ❤️ 1
    iConnect
        4
    iConnect  
       2020-08-21 19:44:55 +08:00 via Android
    es 是重了一点,那也是内存多消耗一些,其他又不会很重。
    damngood
        5
    damngood  
       2020-08-21 19:58:37 +08:00 via iPhone
    golang 有个叫 bleve 的.
    我自己没用过,不过在一些开源项目里面看到过.
    ddup
        6
    ddup  
       2020-08-21 20:09:30 +08:00 via Android
    lucene,想降低内存消耗的话,推荐用点 .net 版的 lucene.net ,Java 程序的内存消耗会高一些。
    然后包装为 REST API 。
    louettagfh
        7
    louettagfh  
       2020-08-22 21:08:29 +08:00
    内容需要持久化吗
    wzw
        8
    wzw  
    OP
       2020-08-23 05:00:25 +08:00 via iPhone
    @louettagfh 不需要
    wzw
        9
    wzw  
    OP
       2020-08-23 05:00:57 +08:00 via iPhone
    @louettagfh 持有化部分放在数据库 ssdb 了
    nickchenyx
        10
    nickchenyx  
       2020-08-23 15:12:32 +08:00
    redis lab 有一个 redis 的实现,可以试试你这个少量的 https://redislabs.com/redis-enterprise/redis-search/
    KalaSearch
        11
    KalaSearch  
       2020-08-28 00:33:04 +08:00   ❤️ 1
    如果是商用,有预算可支付,面向国外用户考虑 Algolia,接 API 或者直接用 SDK 就行,Python Go etc 都有
    如果同样是商用且有预算,面向国内用户,考虑卡拉搜索,接 API 或者直接用 SDK 就行,目前有 Python 和 JS 的 SDK

    如果就是学习用,考虑深入研究下 Lucene 和 Elastic Search

    你的开线程像 API 一样提供服务,事实上就是个穷人版的 ES :D

    另外不推荐 Whoosh,已经不太活跃了
    patagonia111010
        12
    patagonia111010  
       2021-11-19 12:26:34 +08:00
    @wzw 最后怎么解决的?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2563 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 11:11 · PVG 19:11 · LAX 03:11 · JFK 06:11
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.