@superhot 选支持 128K 上下文甚至更大的模型( Phi-3-medium-128k-instruct 、CodeGeeX4-All-9B 、DeepSeek-Coder-V2-Lite-Instruct 、Llama 3.1 之类),配合 continue.dev 插件可以整个文件夹追加到上下文。模型用在线服务和本地部署都可以,这个规模的上下文,用 Mac Studio 内存占用经常到 160GB 左右。
对话时把问题相关的文段片段追加到上下文(手工追加也行,把文档搞到本地做个 RAG 或者 GraphRAG 也行,我目前用 Open WebUI ,可以很简单设置模型和知识库文档范围),然后对着大模型哔哔需求就可以了。有了文档做背景自动拼接在问题后面,准确性大大提高,最新 API 信手拈来,也不怕模型自己那些过时的知识了。