CloseVector 在 ProductHunt 发布了: CloseVector - Portable vector database running on web and Node.js

2023-09-24 19:54:11 +08:00
 MegaPortal

CloseVector is a vector database with libraries for browsers & node.js. Prioritizing easy integration & scalability, its vector index runs on the user's machine for optimal performance.

这款向量数据库相比起一般向量数据库的区别是它针对中小量条数目场景,将数据库下载到用户本地运行(目前提供了 web 版本)和 CDN 存储服务(当然也可以自行解决 CDN 存储),好处是不耗费服务端资源和伸缩性较好,比较适合 Chat With PDF 等场景。

https://www.producthunt.com/posts/closevector

734 次点击
所在节点    分享创造
2 条回复
qieqie
2023-09-27 11:10:02 +08:00
中小量级(<100k) sq pq 甚至暴搜估计都比 hnsw 快还省一个数量级内存
MegaPortal
2023-10-06 17:21:49 +08:00
@qieqie 是的,在不同数据量级上,HNSW 算法可能不是最有解,感谢提供建议。

CloseVector 的核心价值并不是在计算性能上在不同量级上取得最优解,而是提供一套本地运行向量数据库的解决方案,这种解决方案可能适用于数据敏感、可扩展性要求比较强( CloseVector 只依赖本地存储或者 CDN 存储)的场景,而这些场景不一定需要服务端向量数据库的参与,例如你需要索引本地的所有图片,索引你本地的所有文档,只要本地设备能够接受运行、存储、传输成本即可。

至于 CloseVector 为什么选用 HNSW 呢,是因为一是 HNSW 在不同数据量级上,表现可接受;二是 HNSW 算法足够简单且有开源的成熟库,能够比较方便支持后续 CloseVector 在例如 Python 、Swift 、Kotlin 等语言上提供接入版本。

在小量级的场景,HNSW 的表现应该在用户可感知范围没有明显影响,后续 CloseVector 如果需要优化运行效率的话,确实可以向您说的,优化序列化结构,然后在不同的量级上采取不同的算法。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/976734

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX