V2EX › ideniece 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

3 天前

回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

没事了。
@ideniece #56

3 天前

回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

我在运行本地模型，为什么去提示去下载？

kaiwu.exe run .\Qwen3.5-35B-A3B-Q4_K_M.gguf
[2/6] Selecting configuration...
Model: Qwen3.5-35B-A3B (moe, 37B total / 1B active)
Quant: Q4_K_M (20.5 GB)
Mode: moe_offload (experts on CPU)
Accel: Flash Attention + SWA-Full (hybrid arch)

[3/6] Checking files...
Using bundled iso3 binary: llama-server-cuda.exe
Binary: llama-server-cuda.exe [cached]
Downloading model: Qwen3.5-35B-A3B-Q4_K_M.gguf
From: https://hf-mirror.com//resolve/main/Qwen3.5-35B-A3B-Q4_K_M.gguf
Error: failed to ensure model file: failed to download model: failed to download: Get "https://hf-mirror.com//resolve/main/Qwen3.5-35B-A3B-Q4_K_M.gguf": EOF

2024 年 3 月 14 日

回复了 Z1R0 创建的主题 › 电动汽车 › 君子约定，猜测小米 SU7 价格，胜者为最贴近 3.28 公布丐版实际价格的人，参与回复的人每人送他 10 铜币。

20.58 万

2023 年 12 月 18 日

回复了 lijianmin321 创建的主题 › 分享创造 › V 站老哥太热情了， Airy 永久会员加送 9000，凑到 1 万

支持楼主