跑本地大模型 电费要多少？

[mingtdlb]

想了解下跑本地 LLM 的兄弟们，有算过 1 度电能产出多少 token 么。

https://www.douyin.com/video/7651445609950281713 一度电 500 万，不懂啥模型

[VeteranCat]

取决于你开多少卡， 一张 4090 跑推理，算他 400w 。10 张卡，不算其他电力的损耗，持续高负载推理一小时 至少 4 度电。 现在 LLM 最大的问题就在于此，其产出的价值都别说设备损耗了，电费都不见得能跑出来。

[ldy619354397]

我记得我问过 AI ，其实现阶段 token 算上电费和设备损耗基本不赚钱，特别是深度推理

[raycool]

直觉上应该不会这么少的 token

[BingoXuan]

不算输入，只有 216k 输出，0.25 度电，按视频 6 毛钱一度电来算，7 毛 5 每百万 token 。配置铭凡 7455hx+crucial 64G + rtx pro 4500 。模型用的是 Nvidia/Qwen3.6-27B-NVFP4 ，按照平均生成速度 60tokens/s 。

[PrimeK]

没算过，电费一个月 500 ，我一张 5090 跑 qwen-27b ，主机所在的房间火炉似的，温度比外面高一度以上，但本地模型效果垃圾得一 b ，又慢又卡🤮，玩多了真的觉得没啥意思，还是得云端模型才行

[mingtdlb]

@VeteranCat #1 TDP450 吧，我记得，那跑不了 400w 吧，稳定能跑到 350w 就很不错了。8 卡 40990 的使用效果是怎样的，没部署过，评判不了。

@ldy619354397 #2 以现在市面上的定价，token 工厂生产商应该是不赚钱的，但人家的收入不在这

@BingoXuan #4 这种小参数的，没什么应用场景吧，我感觉最少要到 35B ，70B 算凑合。

[imruiming]

@BingoXuan 这么对比 DeepSeek 和 opencode zen 的免费模型真的很有性价比了

[Soulxe2v]

能产多少 token 取决于你用的什么卡、跑的什么参数的模型、模型架构是什么、跑的什么量化、有没有用其他优化。
按照现在个人本地部署普遍 qwen3.6 27b 或者 gemma4 31b 的情况下（两个都是能以单卡 5090 32G ，q4 量化部署的，参数量相对比较大的稠密模型），其实大概 60-80 左右的 tps 也出不了多少 token ，粗算一下一度电也就能出 40wtoken 左右。
自部署换用 MoE 模型倒是个提升吞吐量数字的好办法，可是消费级单卡能部署的 MoE 模型实际用起来都太笨了没什么用途，尤其有些 MoE 模型还默认强制开深度思考，那就更慢了。

[xtreme1]

以 token 提供商的角度, 即使你只计算电费, 也要 cover 训练使用的电...

[BingoXuan]

@mingtdlb
27B 是 dense ，比起 3.6 的 35B MoE 在代码上还是强得多，体验过就知道了。我测试 llm 都是让 llm 使用 webgpu 实现虚拟示波器。27B 可以实现，需要多跑几轮和更多思考 token 。deepseek v4 flash 甚至第一轮就开始各种报错。这几个月体验下来，27B 可以应付 10k 的小项目。小需求改动或者找 bug 甚至比起 codex 降智的 5.4 要好用（比 copilot 的 5.4 强不少，主要 copilot harness 不行，现在还贵）。最重要是无限输入，等于无限制用 llm 进行索引

@imruiming
是的。但我跑本地模型更多是为了验证没有网络情况下，用本地小模型能节省多少资源和提高多少效率。

[GyroZeppeli13]

实际上现在大模型的推理成本里面电费一般只占 10%，还没到电费占主要成本的时候。

而且你要知道，这还是美利坚电费，美国顶多有那种开采石油然后天然气很难液化只能烧掉或者打到油井里面的那种，有个公司我记得就是利用这种废天然气来挖矿，后来大模型算力中心这个公司也搞了，股价也是一飞冲天。但其他的算力中心要么就是蹭当地电网，要么准备用核电。这个电力成本都未必比你家用电费低。

你觉得电费成本高，最大的原因其实就是你现在的卡推理的效率不是很高，每秒 tokens 数太少了。Blackwell 的推理效率其实还是提高了不少的。