RWKV-Runner 发布并开源，可商用的大语言模型，一键启动管理， 2-32G 显存适配， API 兼容，一切前端皆可用

[josStorer]

本项目旨在消除大语言模型的使用门槛，全自动为你处理一切，你只需要一个仅仅几 MB 的可执行程序。此外本项目提供了与 OpenAI API 兼容的接口，这意味着一切 ChatGPT 客户端都是 RWKV 客户端。

开源地址： https://github.com/josStorer/RWKV-Runner

演示视频： https://www.bilibili.com/video/BV1hM4y1v76R

功能

• RWKV 模型管理，一键启动
• 与 OpenAI API 完全兼容，一切 ChatGPT 客户端，都是 RWKV 客户端。启动模型后，打开 http://127.0.0.1:8000/docs 查看详细内容
• 全自动依赖安装，你只需要一个轻巧的可执行程序
• 自带用户友好的聊天交互页面
• 易于理解和操作的参数配置
• 内置模型转换工具
• 内置下载管理和远程模型检视
• 多语言本地化
• 主题切换
• 自动更新

[jones2000]

公司内网可以部署吗? 和互联网是隔断的。

[josStorer]

@jones2000 可以，网盘里有全依赖的包： https://pan.baidu.com/s/1wchIUHgne3gncIiLIeKBEQ?pwd=1111
此外你可以用本体 exe ，在联网环境把所有依赖都装上，然后整个目录打包，就是离线包了，所有依赖都在文件夹内
API 部分做了简单的加锁，可以内网多人使用，理论上可以套个负载均衡集群部署，不过我没测试过