基于 tornado 写一个调用 Ollama 中的大模型的框架,供参考

75 天前
vtwoextb  vtwoextb

github: https://github.com/hizdm/ollama-llm-api

[目录]

.
├── app.py               # 项目入口文件
├── conf                 # 配置文件目录
│ └── global.ini         # 基础配置文件
├── controller           # 控制层
│ ├── base.py            # 控制层基类
│ ├── auth.py            # 认证类
│ ├── chat.py            # LLM 对话类
│ ├── embeddings.py      # 编码类
│ ├── generate.py        # LLM 生成类
│ ├── prompt.py          # 提示工程类
│ ├── rag.py             # LLM 检索增强生成类
│ ├── strategy.py        # LLM 调用策略类( todo )
│ └── home.py            # 默认首页类
├── library              # 基础类库
│ ├── jwt                # JWT 验证基类
│ │ └── jwt.py
│ ├── log                # 日志操作基类
│ │ └── loghelper.py
│ ├── mysql              # MySQL 操作基类
│ │ └── mysqlhelper.py
│ ├── redis              # Redis 操作基类
│ │ └── redishelper.py
│ ├── oracle             # Oracle 操作基类
│ │ └── oraclehelper.py
│ ├── neo4j              # Neo4j 操作基类(部分)
│ │ └── neo4jhelper.py
│ └── util               # 公共方法工具
│ └── util.py
├── log                  # 日志存放目录
│ └── log.txt
├── model                # 模型层
│ ├── base.py            # 模型基类
│ └── llm.py             # LLM 类
├── README.md
├── requirements.txt     # 框架安装包 pip install -r requirements.txt ( todo )
├── router               # 路由分发层
│ └── urls.py            # 路由分发文件 
├── static               # 资源层
└── template             # 模板层
 └── 404.html            # 404 页面

github: https://github.com/hizdm/ollama-llm-api

2201 次点击
所在节点   分享创造  分享创造
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1100721

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX