做了一个小站： https://localrigcheck.com （英文界面）
起因：每次新开源模型出来，"我的卡能不能跑"的回答大多是"参数量 × 位数"再拍脑袋，经常差很多。比如 Qwen3.8-27B 按 27B × 4 bit 算是 13.5 GB ，实际 Unsloth 的 UD-Q4_K_XL 文件是 17.6 GB ，还没算 KV cache 。
做法：
- 每个模型一个检查器：用仓库里真实的文件大小，按 llama.cpp 的分配方式逐层算 KV cache （滑动窗口层、线性注意力层、共享 KV 层分别处理），再和显卡/内存实际可用的部分比；
- 每个数字都标来源类型：官方、社区报告、本站估算、本站实测；"放得下"不等于"支持"，不会混着说；
- 按显卡、Mac 内存、显存档位各有页面；
- 自己在 Vast.ai 租了 RTX 4090 和 RTX 4060 Ti 16 GB ，用 llama-bench 测了 Qwen3.8-27B 和 Gemma 4 26B-A4B （约 4K / 32K 上下文，各 3 次），一共花了 1.83 美元。例如 4060 Ti 16 GB 跑 Qwen3.8-27B UD-IQ3_XXS ，生成约 22.9 tok/s （约 4K 上下文）；
- 数据全部 CC BY 4.0 开放，JSON 可以直接取，GitHub 有镜像： https://localrigcheck.com/data/
局限：llama.cpp 的答案是容量估算，不是实测过的配置；还没有自己测过 Mac ；只覆盖站内有页面的模型。
检查器在浏览器里算，你选的硬件不会上传。欢迎挑错，确认的错误会改并在页面上记录。
Select Language