@
KaiWuBOSS 使用 V0.26 版本是正常的，使用 V0.31 版本就出现报错了，请大神看看
本地大模型部署器 vv0.3.1 · llama.cpp b8864
by
llmbbs.ai · 本地 AI 技术社区
[1/6] Probing hardware...
GPU: NVIDIA GeForce RTX 4060 Laptop GPU (SM89, 8188 MB VRAM, 272 GB/s)
RAM: 95 GB DDR5
OS: windows amd64
[2/6] Selecting configuration...
Model: Qwen3.6-35B-A3B (moe, 38B total / 1B active)
Quant: Q4_K_M (20.6 GB)
Mode: moe_partial
Accel: Flash Attention + SWA-Full (hybrid arch)
[3/6] Checking files...
Using bundled iso3 binary: llama-server-cuda.exe
Binary: llama-server-cuda.exe [cached]
Model: Qwen3.6-35B-A3B-UD-Q4_K_M.gguf [cached]
[4/6] Preflight check...
✓ VRAM sufficient
[5/6] Warmup benchmark...
旧缓存格式，重新探测
Probe 1: ctx=256K ... OOM
Probe 2: ctx=128K ... OOM
Probe 3: ctx=64K ... OOM
Probe 4: ctx=32K ... OOM
Probe 5: ctx=16K ... OOM
Probe 6: ctx=8K ... OOM
⚠️ Warmup failed: all ctx probes failed (tried down to 4K)
Using default parameters
[6/6] Starting server...
Waiting for llama-server to be ready (port 11434)...
⚠️ 显存不足，降低上下文至 4K 重试...
Waiting for llama-server to be ready (port 11434)...
Error: failed to start llama-server: 连续 2 次启动失败，即使最小上下文(4K)也无法运行
NVIDIA GeForce RTX 4060 Laptop GPU: 8188 MB VRAM
模型 Qwen3.6-35B-A3B: ~21104 MB
KV cache (4K, q4_0): ~80 MB
预估总需: ~22208 MB
差额: 14020 MB
建议:
1. 选择更小的量化 (Q4_K_M 或 Q2_K)
2. 选择更小的模型
Usage:
kaiwu run <model> [flags]
Flags:
--bench Run benchmark after starting
--ctx-size int 手动指定上下文大小（ 0=自动）
--fast Skip warmup, use cached profile
-h, --help help for run
--host string 监听地址（默认 127.0.0.1 ，用 0.0.0.0 开放局域网） (default "127.0.0.1")
--llama-server string 使用自定义 llama-server 二进制（完整路径）
--mode string 模式选择: speed/balanced/context （默认用上次选择）
--reset 清除缓存，重新 warmup 探测最优参数
Select Language