去中心化的大模型 LLM 服务

[askfermi]

ChatBot 的 demo： https://chat.xzyao.dev/

最近重写了一个业余项目 - 在一个 p2p 的网络上跑 LLM ，目前实现比较简单：通过 p2p 把 request forward 到对应的节点的 port 上，目前兼容了 OpenAI 的 API ，理论上应该可以和大部分 OpenAI 的应用兼容。现在跑了两个模型，可以在 chatbot 的界面里看到。

长期目标有两个：

• 支持用户绑定自己的钱包，这样在本地 serve 其他人的 request 可以拿到 token ，然后用来支付一些本地没办法 serve 的模型。
• 和其他的用户一起 serve 一个大的模型，类似 petals ，但它实在太慢了。

GitHub: https://github.com/autoai-org/OpenComputeFramework

另外感谢开源的 UI 实现： https://github.com/anse-app/anse

[ChatGemini]

看不懂 也来支持一下

[sworld233]

我觉得是一个不错的想法，要是能解决上面说的正确性、调度、激励等问题，说不定会很有用

[lyang]

不太懂去中心化 正确性是否可以多收集几个返回，一致就正确

[GeekGao]

目前只实现了基本的通信部分吗？ 没体现出 workload 是如何分配、硬件需求和资源池监控之类的事情。

[askfermi]

@GeekGao 是的 目前 workload 会随机在支持同一模型的节点里随机分配，监控和其他的目前没实现，估计需要下一个大版本

[askfermi]

@lyang 我也想过这个方案，会有两个问题：1. 会有一些资源浪费 2. 由于 llm 生成本身有一些随机性，会导致没办法期待完全一样的结果。

[peterchen26]

@akaHenry 直接开发代币 哈哈哈

[coinbase]

可以发币，我来梭哈 0.1eth