大佬们，求助本地部署大模型

[jjyyryxdxhpyy]

有下面几个要求：

1 、本地部署开源的大模型

2 、有知识库管理

3 、可提供接口

有没有满足的产品呀

[2kCS5c0b0ITXE5k2]

ollama AnythingLLM

[andytao]

https://github.com/karpathy/llama2.c

[NoobNoob030]

1. 大模型单独部署，huggingface 或者魔搭社区看看文档就能部署
2. 知识库管理+接口这种 AI 平台，想傻瓜式开箱即用的，国内推荐 fastgpt ，国外推荐 langflow 。想自己开发就用 langchain

[jjyyryxdxhpyy]

@NoobNoob030 谢谢

[jjyyryxdxhpyy]

@andytao 谢谢，我看看

[jjyyryxdxhpyy]

@emeab ollama 我知道，本地部署了，现在在想怎么集成知识库

[andytao]

https://github.com/ggerganov/ggml
https://github.com/ggerganov/llama.cpp
https://github.com/chenyangMl/llama2.c-zh
https://ai.gitee.com/
https://gitcode.com/ai-copilot

[andytao]

楼主考虑的是编程集成吧？

比如用已有知识库训练模型，调用 API 输出想要的结果等，最好把后续细节细化一下，或许有更多有可行性的建议；

[seeyourface]

同问，通过知识库外部引用和使用知识库作为训练集微调模型，有没有这方便的大佬知道哪种方式的效果更好吗

[jjyyryxdxhpyy]

@andytao 是这样，本地部署一个类似 ollama 的服务，集成开源大模型，然后基于这个模型，集成知识库，对面前端来说，可以调用接口，做进一步修改，适配项目

[jjyyryxdxhpyy]

@andytao 谢谢，我看看

[Lockeysama]

本地模型和其它可以分开的话，可以试试 https://github.com/langgenius/dify
支持接入本地模型

[tricker1215]

话说有没那些本地“小模型”。
基于特定的文本内容做成一个问答机器人，文本内容短，但是准确性要求高。

[fredweili]

hugging face 去找找

[jjyyryxdxhpyy]

@fredweili 太难找了

[jjyyryxdxhpyy]

@tricker1215 这不就是，和我要求差不多，本地部署，需要集成知识库

[jjyyryxdxhpyy]

@Lockeysama 可以

[NewHere]

英伟达的 Chat with RTX 呢，那个好像是分析本地文件的

[kuqma98]

Langchain-chatchat

[supergeek1]

https://github.com/chatchat-space/Langchain-Chatchat
这个应该完全符合你的要求，支持本地模型、知识库管理问答、API 页面都有