请教个 es 向量查询的问题

[wueryi]

背景：

• 根据一段文案（假设为商品标题）的向量值在 es 中查询出相似的文案(商品) knn_search
• 向量维度是 1024 维度 余弦函数计算距离
• 目前已有数据是 600w 左右 整体 es 数据量在 250g 左右
• es 节点 8c32g *3

问题

目前想前台使用这种向量查询的结果 但是问题是目前单次查询的效率很低基本上得 60s 左右才能返回。

• 有大佬有经验这种量级的查询大概需要升配到什么配置吗？
• 或者有什么其他的查询优化方案吗？

其他

• 为啥非得用 es 不用其他向量库 例如 milvus ？：因为存量数据在这儿，所以暂时没有迁移。
• 另外我看到的有限的返回结果中，很多文案相近但是不是同一个商品的也会被查询出来，准确率其实有待考证。

[somebody1]

不懂。
建议你去 es 的社区发问题！

[wueryi]

@somebody1 #1 😁😁

[fffflyfish]

向量做下降维呗，1024 太长了，商品标题一般也就 60~128 维差不多够用了

[wanghello]

redis search 咋样

[jetyang]

1.ES 做向量检索就是慢，了解一下 ANN ，近似查询才能加速
2.向量检索就是考虑到意思相近但不是同样的文字，如果要同一个干嘛启用向量查询

[my3157]

试下 meilisearch

[wueryi]

@fffflyfish #3 主要是存量数量里已经有 1024 维度的了，刷数据的话时间比较长。另外就是没有具体试过降维会不会准确率降低，余弦函数的距离我理解应该不会降低准确率。

[wueryi]

@jetyang #5 我试了 ANN 这个配置对应这个量级 快不了多少 ，都是几十 s 上下，2.应用的场景其实就是针对不同平台同一个商品，进行搜索，并不是一样的文案，大概率都是相似文案。

[fffflyfish]

@wueryi 降维对效果的影响你在 STS dataset 上实际测下就知道了，看上面 ANN 都加速不了的话你只能在准确率和计算耗时之间权衡了，或者你调研下有没有基于 GPU 的向量检索方案

[picone]

@wueryi #8 ANN 不可能这么慢，百万级规模也不算特别大，不需要上到 GPU 。降维试试不影响准确召回即可。有个问题是这个数据集存在更新吗，更新频繁吗？除了 ES 外也有其它专门做向量检索的项目可以都调研下对比下

[wueryi]

@picone #10 存在更新 但是不频繁，在试 milvus 但是目前没有这么大的量供测试😂

[wueryi]

@fffflyfish #9 GET 感谢老哥

[monkeyk]

这类问题要先找到根源在哪，像 milvus 之类的向量库都推荐使用 GPU 来部署；
一般能想到的就是 CPU 的并发支持 没有 GPU 高。
尝试找一些官方提供的 debug 工具试试

[OPLUS]

之前做过 128 维的测试，默认索引下 es 就是比 milvus 慢很多。

[Chris2023]

如果是优化方案：1.纬度太大 2.数据更新是否频繁 3.磁盘最好是 SSD 4.内存利用率可以看一下。 向量查询还是要用向量数据库来承载，ES 一般不这么用。

[picone]

@wueryi #11 PQ 量化，分库这些都可以搞上去试试，百万级数据单机理论上是可以处理的，牺牲少量召回准确率。

如果使用 ANN 的话，更新的量看大不大，大的话可以单独作为一个子库做倒排并行检索，然后日/月粒度全量重新建库就好了。

[OblivionStaff]

可以试着问问 llm 。Kimi 智能助手的对话 https://kimi.moonshot.cn/share/cppadj8nsmmif30hv83g

[wxf666]

请教一下，这是一种更高级的全文搜索吗？

比如，要是用到 V2EX 的搜索里，就能以自然语言形式，搜出更匹配的帖子/回复来，而不是关键词/近义词匹配而已？

某个字符串的 1024 纬度数据，是咋来的呢？每个纬度，是代表某个方向上的相关程度吗？（如动物/人类/编程/工地/……）

[qieqie]

ES knn 性能就是低的匪夷所思，甚至比 ssd ondisk 索引方案还低一个数量级。

[wueryi]

@Chris2023 #15 是的本来打算是用 milvus 只是当前数据存在 es 里 es 刚好支持 所以测试一下性能 然后发现确实别我想想的要更差一点儿。然后分析原因的时候不确定是不是配置的问题导致的。