Home Sign Up Sign In
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  ChrisBlack  ›  全部回复第 1 页 / 共 1 页
回复总数  1
6 月 25 日
回复了 jiezou 创建的主题 › Local LLM › 大模型小白推荐一下本地模型
基本上，8GB 顯存可以跑 Qwen3.5-9B ，問題在他不很聰明，
這幾天有 Claude5 的洩漏資料訓練出來的，Qwythos-9B-Claude-Mythos-5-1M ，
他的原始版應該 8G 跑不動，8G 可以用它的 Q8 或 Q6 量化版，另外掛圖型辨識的 mmproj ，應該是夠的
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2908 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 9ms · UTC 05:39 · PVG 13:39 · LAX 22:39 · JFK 01:39
♥ Do have faith in what you're doing.