折腾 Llama3 跑在 NAS...结果确实一言难尽

[CoffeeLeak]

链接: https://github.com/ansonhe97/Llama3-NAS

前几天简单折腾 Llama3 跑在 NAS 上，结果确实也和预期一样，卡成...

分享下 docker 配置，也希望后续大模型会往边缘端发展，让 NAS 发光发热！

[vicalloy]

除非要做 RAG ，或用自己的知识库进行二次训练，不然本地跑 chatGPT 没有太大意义。
试了一下 16fp 的 7B 模型，效果不太行。
另外一定要 GPU ，CPU 慢的无法接受。

[xJogger]

3060 6G 笔记本 用 ollama 跑 Llama3 8B 的，还挺流畅
不过就试了几轮对话，没尝试太多轮

[shuimugan]

CPU 跑大模型推理瓶颈就是在内存带宽，按 ddr4 双通道内存带宽为 30GB/s 的速度来算，7B 规格的 8bit 量化，也就 4 token/s 左右的速度，4bit 量化就速度 x2 ，14B 规格就速度除以 2 ，偏差不会太大。

[lchynn]

@xJogger 3060 跑 LLAMA3-8B, 平均每秒多少 token 生成速度啊？谢谢，想了解下性能？ OLLAMA /SET VERBOSE 麻烦测一下看看？

[xJogger]

https://cdn.sa.net/2024/05/04/9TxWjPMuZVGsSbe.png



@lchynn 测了下，如图

[lchynn]

@xJogger 谢谢， 那看来日常够用了。不知道综合能力对比 Qwen1.5 7B 如何。