biggun

local.ai 用来选型本地模型

  •  
  •   biggun · Aug 31 · 734 views

    有点意思,试着用 mbp m5 max 128GB 跑了这些模型,大差不差,step 的确实能够支撑日常 hermes 使用了。

    这个 EigenLabs/Qwen3.8-27B-4bit 的 bench 也很有意思,用 autoresearch 提升模型在 mlx 的 throughput 。但是跑了两天,才达到 192.3 。300 多的怎么搞出来的。

    https://local.ai/radio/invite

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5274 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 09:00 · PVG 17:00 · LAX 02:00 · JFK 05:00
    ♥ Do have faith in what you're doing.