Koimiao
V2EX  ›  Local LLM

一个 15MB Rust 二进制文件的 Agent CLI,零运行时依赖,旨在充分发挥任何模型的性能

  •  
  •   Koimiao · 2 days ago · 1144 views
    Ante 是一个仅 15MB 的二进制文件,它管理着自己的推理引擎。添加一个 GGUF 文件,即可在您自己的硬件上拥有一个完整的编码代理:无需 API 密钥,无需帐户,模型调用也永远不会离开您的计算机。

    GitHub link:https://github.com/AntigmaLabs/ante
    🙏希望感兴趣的朋友们能帮忙点点 star⭐️

    实测:电脑是 MacBook Pro M4 Max ,基于当前可⽤运⾏内存,提示最适合的可运⾏离线⼤模型为 Qwen3.6 27B ( 17GB )。并且本地跑起来,切换、对话都⼗分⽅便。Ante 对本地模型做全⽣命周期管理:模型下载、加载前预估、启动停⽌。
    7 replies    2026-08-13 15:13:19 +08:00
    Tink
        1
    Tink  
       2 days ago
    如果电脑性能弱的话咋办呢
    shidianxia
        2
    shidianxia  
       2 days ago
    🌟了,想问下如果用第三方 api 的话,使用起来体验相比 codex 之类有什么差别吗?
    Koimiao
        3
    Koimiao  
    OP
       2 days ago
    @Tink 可以换参数量更小的模型,或者先用项目送的 token 过渡一下
    Koimiao
        4
    Koimiao  
    OP
       2 days ago
    @shidianxia tui 使用的体验会比 codex 好很多,比较接近 claude code 。而且相较于 codex 和 claude code 项目专门做过 system prompt 这部分的优化,相对来说会比较省 token
    xiaoz
        5
    xiaoz  
       2 days ago via Android
    请问是否支持 ACP 协议接入呢?
    mohanz
        6
    mohanz  
       1 day ago
    @xiaoz 有 open pr 但可能还要看
    Koimiao
        7
    Koimiao  
    OP
       1 day ago
    @xiaoz 目前 Ante 不原生支持 ACP 接入。Ante 使用自己的 Op/Evt 协议,通过 ante serve 提供 JSONL 标准输入/输出或 WebSocket 通信
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2787 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 04:16 · PVG 12:16 · LAX 21:16 · JFK 00:16
    ♥ Do have faith in what you're doing.