flkaylor19
V2EX  ›  Local LLM

笔记本 125B 模型 Q4 量化, xHigh256k 调优峰值 64tps。附部署和调优源码

  •  
  •   flkaylor19 · 1 day ago · 749 views

    笔记本:幻 X2025 windows 96G 显存分配 32G RAM 操作模式:增强模式 修了识图,去拒答 配置:q4xs 量化、上下文 256K ,配置如下,96G 显存分配 32GRAM 峰值 64.63TPS 智商类似不降智 opus4.6 https://github.com/xszwow/Strata

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3366 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 12:49 · PVG 20:49 · LAX 05:49 · JFK 08:49
    ♥ Do have faith in what you're doing.