我们开发了一个 LLM API to Earn 概念的大模型接口转发平台,支持 Azure OpenAI(自定义回收价格,动态分配流量)

1 天前
 LemonLeon
加密圈的钱辈一定对 xxx to earn 这个概念不陌生,我们基于这样的理念,开发了一个 AI 圈可以获取收益的接口转发平台: poixe.com

用户可以将其闲置 / 冗余的 API 资源(目前已支持 OpenAI ,Azure OpenAI )丢到平台里,设置一个价格,供给平台里的其他用户来使用以获取收益。其本质相当于一个开放了渠道管理的 one-api 转发程序,每个人都可以创建渠道。

## 开发这个平台的思考在于:

1 )市场上一直存在着大量闲散,低成本甚至免费获取到的 AI API 资源。通常,这些资源掌握在信息检索能力较强的人手中,比如正在读我这篇帖子的读者。

2 )拥有资源的人,并不完全有能力/精力/想法将其变现。一部分人可能选择搭建转发站,但运营好一个转发站并不轻松。大部分人手中的这些资源都是空置状态。

3 )如果有这样一套系统,可以通过平台将闲置的 API 分发给有需要的人,让市场上的零散"供给"和需求匹配起来,那么就可以给我们三方共同创造收益。

## 介绍下系统的技术栈:

采用 Golang Gin 作为后端框架,前端使用 React + Vite ,数据库用的 MySQL ,使用 Redis 提供缓存(重度依赖),同时,加入了 Kafka 作为消费日志的中间件处理。

根据过往使用 one-api 的经验,系统的瓶颈往往在于日志批量写入时的磁盘 IO ,所以我们增加了 Kafka 作为缓冲层,在高并发场景下可以对流量做削峰填谷,同时提高了系统的可扩展性。

## 目前,已完成的开发任务如下:

1 )官网



2 )控制台 -> 令牌



3 )控制台 -> 日志



4 )控制台 -> 用量统计



5 )供应商功能(即本文提到的回收 API 额度)



6 )供应商功能 -> 渠道管理



7 )供应商功能 -> 收益页面



8 )供应商申请入驻页面



## 写在最后

这是我们一次大胆的尝试,开发并没有结束,准确说是刚才开始。我们计划以此平台为基础,持续开发更多与 LLM API 相关的应用层服务。

欢迎建议。
452 次点击
所在节点    程序员
4 条回复
fengzhi
1 天前
Token 越来越便宜,价格不是问题
gaobh
1 天前
没戏,大家都搞了这么多年互联网了,虽然你套了个大模型的壳子,但是这套老玩法早就验证行不通了
RangerWolf
23 小时 3 分钟前
op 的 UI 做的挺好的
功能目前我还没有需求 都是直接采购的别人家转发的 openai 的 api
LemonLeon
17 小时 51 分钟前

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1100159

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX