Home Sign Up Sign In
abctest
V2EX  ›  问与答

Nvidia 128G 的那个小盒子用哪个模型好？

  •   
  •   abctest · 9h 1m ago · 383 views

    试了最新出的 Qwen3.8-27B ，吐字很慢，4token/s 。 试了 Qwen3.6-35B-A3B ，质量感觉不行，幻觉有些严重。

  • nVIDIA
  • 模型
  • 性能
    2 replies  •  2026-08-27 04:49:50 +08:00
    volvo007
        1
    volvo007  
       8h 52m ago
    因为这货的带宽太低了，所以非常不适合稠密模型的推理。所以比较合适的还是两台上满血 d4f
    biaoyu
        2
    biaoyu  
       1h 10m ago
    适合用 MOE ，稠密不行
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   942 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 22:00 · PVG 06:00 · LAX 15:00 · JFK 18:00
    ♥ Do have faith in what you're doing.