235777178

其实你得看你的预算。
预算没那么敏感，4090 48g 2w 多也搞的到。
预算敏感就是 v100 pcie 32g
v100 太旧，那就 intel b70 32g ，1w 多。

h3 的话，我用的两张 7900xtx 24g 跑的。一张卡放权重，一张卡放解码器之类的，跑的效率还可以。

v100 16g pcie 闲鱼 1000 多
主板就华南金牌 x99d3 版本的，内存插满
不过我建议的是闲鱼去买 20g 的 3080.
2 张 3080 随便跑 qwen 3.8 27b 了。

@lzhd24 模型没问题，主要是服务太拉了。不管什么时候，不管什么模型用着用着就 429.

# Qwen3.8-27B 性能矩阵（ 192.168.1.20 · 双 RX 7900 XTX ）

> 场景：2 槽位 / 192K 上下文。单位 tok/s 。

| 变体 | 关键差异 | prefill (1024 / 8k / 32k) tok/s | gen (1024 / 8k / 32k) tok/s | 峰值 VRAM / 卡 |
|---|---|---|---|---|
| **S1_base** | tensor 1,1 · q8_0 KV · b16384/ub2048 · t32 · **MTP d2**（当前配置） | 521 / 1150 / **1053** | **54.1 / 51.6 / 51.9** | 16.3G |
| S2_kv_q4 | KV q4_0 | 512 / 1145 / 1049 | 52.6 / 54.5 / 49.3 | **14.9G** |
| S3_kv_q6 | KV q6_k | ❌ 启动失败（该 build 不支持 q6_k KV ） | — | — |
| S4_ts_5545 | tensor 55,45 | 493 / 1070 / 950 | 50.2 / 52.0 / 48.6 | 18.0G / 14.3G |
| S5_layer | layer split | 529 / 1095 / 1100 | 37.3 / 39.1 / **29.7** | 16.7G / 22.3G |
| S6_b32768 | batch 32768/ub4096 | 490 / 1143 / 1037 | 47.5 / 54.5 / 50.8 | 18.7G |
| S7_t48 | threads 48 | 518 / 1147 / 1046 | 53.3 / 50.5 / 51.0 | 16.3G |
| S8_mtp1 | MTP d1 | 519 / 1148 / 1047 | 46.6 / 48.1 / 43.0 | 16.2G |
| S9_nomtp | 无 MTP | 621 / **1281** / 1136 | 33.5 / 33.6 / 31.3 | 14.3G |
| S10_ub1024 | ubatch 1024 | 512 / 1122 / 1039 | 47.2 / 51.3 / 50.6 | 15.2G |

## 结论速读
- **甜点（ gen 最高）**：`S1_base`（ MTP d2 ）综合最强，gen 稳定 51–54 tok/s 。
- **prefill 最高**：`S9_nomtp`（无 MTP ）达 1281 tok/s ，但 gen 只有 33 tok/s — 用 prefill 换 gen 不划算。
- **最省显存**：`S2_kv_q4`（ 14.9G ），gen 几乎不掉，KV 量化到 q4_0 是性价比最高的调整。
- **不要踩**：`S3_kv_q6` 当前 build 不支持；`S5_layer` 分层切分导致 gen 暴跌到 29.7 。

小额多批次，币商会帮你规避风险的。