跑本地大模型 电费要多少？

取决于你开多少卡， 一张 4090 跑推理，算他 400w 。10 张卡，不算其他电力的损耗，持续高负载推理一小时 至少 4 度电。 现在 LLM 最大的问题就在于此，其产出的价值都别说设备损耗了，电费都不见得能跑出来。

我记得我问过 AI ，其实现阶段 token 算上电费和设备损耗基本不赚钱，特别是深度推理

直觉上应该不会这么少的 token

不算输入，只有 216k 输出，0.25 度电，按视频 6 毛钱一度电来算，7 毛 5 每百万 token 。配置铭凡 7455hx+crucial 64G + rtx pro 4500 。模型用的是 Nvidia/Qwen3.6-27B-NVFP4 ，按照平均生成速度 60tokens/s 。

没算过，电费一个月 500 ，我一张 5090 跑 qwen-27b ，主机所在的房间火炉似的，温度比外面高一度以上，但本地模型效果垃圾得一 b ，又慢又卡🤮，玩多了真的觉得没啥意思，还是得云端模型才行

@VeteranCat #1 TDP450 吧，我记得，那跑不了 400w 吧，稳定能跑到 350w 就很不错了。8 卡 40990 的使用效果是怎样的，没部署过，评判不了。

@ldy619354397 #2 以现在市面上的定价，token 工厂生产商应该是不赚钱的，但人家的收入不在这

@BingoXuan #4 这种小参数的，没什么应用场景吧，我感觉最少要到 35B ，70B 算凑合。

@BingoXuan 这么对比 DeepSeek 和 opencode zen 的免费模型真的很有性价比了

能产多少 token 取决于你用的什么卡、跑的什么参数的模型、模型架构是什么、跑的什么量化、有没有用其他优化。
按照现在个人本地部署普遍 qwen3.6 27b 或者 gemma4 31b 的情况下（两个都是能以单卡 5090 32G ，q4 量化部署的，参数量相对比较大的稠密模型），其实大概 60-80 左右的 tps 也出不了多少 token ，粗算一下一度电也就能出 40wtoken 左右。
自部署换用 MoE 模型倒是个提升吞吐量数字的好办法，可是消费级单卡能部署的 MoE 模型实际用起来都太笨了没什么用途，尤其有些 MoE 模型还默认强制开深度思考，那就更慢了。

以 token 提供商的角度, 即使你只计算电费, 也要 cover 训练使用的电...

@mingtdlb
27B 是 dense ，比起 3.6 的 35B MoE 在代码上还是强得多，体验过就知道了。我测试 llm 都是让 llm 使用 webgpu 实现虚拟示波器。27B 可以实现，需要多跑几轮和更多思考 token 。deepseek v4 flash 甚至第一轮就开始各种报错。这几个月体验下来，27B 可以应付 10k 的小项目。小需求改动或者找 bug 甚至比起 codex 降智的 5.4 要好用（比 copilot 的 5.4 强不少，主要 copilot harness 不行，现在还贵）。最重要是无限输入，等于无限制用 llm 进行索引

@imruiming
是的。但我跑本地模型更多是为了验证没有网络情况下，用本地小模型能节省多少资源和提高多少效率。

实际上现在大模型的推理成本里面电费一般只占 10%，还没到电费占主要成本的时候。

而且你要知道，这还是美利坚电费，美国顶多有那种开采石油然后天然气很难液化只能烧掉或者打到油井里面的那种，有个公司我记得就是利用这种废天然气来挖矿，后来大模型算力中心这个公司也搞了，股价也是一飞冲天。但其他的算力中心要么就是蹭当地电网，要么准备用核电。这个电力成本都未必比你家用电费低。

你觉得电费成本高，最大的原因其实就是你现在的卡推理的效率不是很高，每秒 tokens 数太少了。Blackwell 的推理效率其实还是提高了不少的。

@PrimeK 冬天给北方取暖挺好的

现阶段本地大模型就一个优势：隐私，别的暂时还不行。

我算过。我的配置下单位 token 电费成本高过 deepseek 官网的 dsv4 flash 标价。虽然如此我还是就这么继续用着

@BingoXuan #10 智商、性能这些跟 vllm 跑模型的参数关系大不大，比如 Qwen/Qwen3.6-27B 这个用 4090 跑是什么启动参数，改天我找两张卡测试看看


@strobber16 #14 跑满血的 ds v4 flash 吗，1M token 大概需要多少度电

@mingtdlb

显存够用那就直接原版 fp8 ，我用 nv 的 nvpf4 量化，体验比 unsloth 的好

podman run -d --rm \
--name vllm-qwen36-27b \
--device nvidia.com/gpu=all \
--ipc=host \
-p 8000:8000 \
-v $HOME/work/models/Qwen3.6-27B-NVFP4:/models:ro \
vllm/vllm-openai:latest \
--model /models \
--served-model-name qwen3.6-27b \
--dtype bfloat16 \
--kv-cache-dtype fp8_e4m3 \
--max-model-len 147456 \
--max-num-batched-tokens 4096 \
--max-num-seqs 4 \
--enable-chunked-prefill \
--enable-prefix-caching \
--enable-auto-tool-choice \
--tool-call-parser qwen3_xml \
--reasoning-parser qwen3 \
--gpu-memory-utilization 0.95 \
--trust-remote-code \
--attention-backend FLASHINFER \
--override-generation-config '{"repetition_penalty": 1.05}' \
--speculative-config '{"method":"mtp","num_speculative_tokens":3}'

mac studio ultra 跑 qwen3.6 27B Q8,功耗维持在 150w/h 左右。263k context 平均能到 10token/s ，36000 token/h * 7 = 252000 tokens,一度电。1M 大概 4 度电，0.65 一度电，大概 2.6 元 / 1M tokens 。 和 deepseek v4 flash api 价格（ 1+2 ）差不多，主要还是隐私。

@coefu #17 mac studio 相比服务器，功耗是不是有天然优势，整机功耗跟一张 nvidia 差不多？

@mingtdlb 整机最高持续功耗才 370w ，和 单卡 3090 相当，关键是 1 ，跑不到满载，2 ，3090 之外的准系统起码要 250w ，所以整机起码要 600w ，按照 80%的转换率，电源起码要 800w 。这个一来一回，摸着者 4 ～ 5 倍的电源消耗差距。