[LLM] 有哪位大佬指点下如何在 cpu 上分布式推理

[rizon]

我有很多 32 核的 cpu 机器，想要跨这些机器使用所有的 cpu 算力进行推理。
这个该怎么做啊？

是不是部署 k8s 集群就可以，还是有更简单的办法？

还是说用分布式的 spark 等计算框架？但是具体该怎么搞呢。没头绪

场景是跑开源大语言模型

[murmur]

你做科学计算么，有的科学计算是 cpu 运算+大内存，不过也不是用框架，直接买现成的软件，比如电磁学的 feko

[rizon]

@murmur #1 我就是想跑大模型

[lozzow]

@rizon 可以尝试下 ray ，理论上是支持 transformer 模型的，但是怎么做，我也就看了个文档

[israinbow]

TorchServe 或者黄核弹的 TensorRT? 我们做边缘计算的还有用 ONNX 的, 挑一个吧🫡

[max1911]

op 可以试试 ggml 库重新，基于 ggml 上的项目 llama.cpp ，可以实现用 C++运行语言模型

[max1911]

@usazcx https://github.com/ggerganov/llama.cpp#mpi-build 这是集群的部署指导

[max1911]

@usazcx 如果是 Intel 集群，也可以试试 bigdl.
https://bigdl.readthedocs.io/en/latest/doc/Serving/index.html

[t133]

大矩阵的乘法除非你有 infiniband 并行效率惨不忍睹