如何实现 chat with nas？

[chinaqzxh]

nas 里存了一些文件

众所周知大模型可以实现对这些文件的自然语言对话，打造一个私有助理

那么，有木有这种方案，可以设置一个文件夹，通过容器部署，实现对这些文件的对话，同时可以 gpt 或者其他大模型进行兜底

nas 是黑群晖，性能还可以

[czfy]

你对于流畅运行端侧大模型的配置需求有误解

[AS4694lAS4808]

NAS 如果有显卡，本地部署 7B+模型和全量 RAG 可以实现楼主的功能，如果没有，只能放弃隐私用云端 LLM+短分片 RAG 了，7B 以下的模型都是凑活事的。我司倒是在做类似产品，也有量化和压缩的 2B 高通端侧模型，不过业余是 toB 的

[LuckyLauncher]

“性能还可以”
A100?

[PerFectTime]

跑大模型也费电啊