最近在学习 electron, 写了一个 加载本地 gguf 模型聊天的应用练练手, 欢迎体验

[ckvv]

• https://github.com/ckvv/lumos/releases 下载你对应机器的安装包
• https://huggingface.co/models?library=gguf 打开需要使用的模型即可

[YiXinCoding]

本地 RAG 就更棒了

[kevan]

和 LM STUDIO 比怎么样？

[kevan]

Microsoft Defender SmartScreen 阻止了无法识别的应用启动。运行此应用可能会导致你的电脑存在风险。

[kevan]

很不错，star+1

[kevan]

为什么不能设置 system message ？

[kevan]

我发现你的这个程序运行 gguf 响应很快啊。

[kevan]

强烈推荐低配机器使用 B 站的 1.2GB 语言模型。体验很好