原理很简单，用 CLIP 模型计算图片的 embedding ，然后和搜索语句的 embedding 进行比较。因为用的是 MLX 来推理模型，所以只有 M 芯片的 mac 能用 GPU 加速，其他平台会很慢。代码全部由 Node.js 实现，embedding 计算用的是自己写的 node-mlx ，没有用第三方的推理引擎和数据库。
本来是处于学习目的写的程序，但实用性非常强，过来分享一下。
https://github.com/frost-beta/sisi
本来是处于学习目的写的程序，但实用性非常强，过来分享一下。
https://github.com/frost-beta/sisi
6 条回复 • 2024-09-16 13:22:07 +08:00
 |
1
GeekGao 3 天前
good. 我没有 M 芯片，所以不知道性能数据。求教一下，如果是数万张 1080x768 以上尺寸的 PNG ，性能如何？
|
 |
2
zcbenz OP 1080x768 的话，一天应该能跑完吧。CPU 性能浮动很大，不好估算。
|
|
3
zcbenz OP 一天跑完是指建立索引，搜索应该几秒内能完成。
|
 |
4
hoodjannn 3 天前
看起来很不错！明天试试
|
 |
5
sunwen4567 2 天前
感觉可以参考一下[immich]( https://immich.app/)项目?一个自部署的相册服务,也提供语义化的图片搜索功能
|
 |
6
andforce 2 天前 via iPhone
v 友之前有个手机项目，Quaryable
|
Select Language