爱意满满的作品展示区。
luzhong

在浏览器里跑本地大模型,我写了个 45M 参数的 Agent 插件(离线 / 免 API Key)

  •  
  •   luzhong · 8h 41m ago · 301 views

    看 Needle 2 的文章时手痒,直接把模型编成 WASM 塞进了 Chrome 扩展里,做了个能在浏览器里本地跑的大模型 Agent 。

    欸,啪,插件就做好了,很快啊! WASM 一编、模型一塞、浏览器一装,离线就能跑,全程不用 API key 。

    它大概能干什么:

    • 自然语言控制浏览器:说 "Go to google.com and search for AI news"、"Open youtube.com in a new tab",它会自己调用工具(目前模型仅支持英文)
    • 内置 18 个浏览器工具:读页面、点击、填表、标签页管理、书签、下载、截图、通知、HTTP 、自定义脚本
    • 每次工具调用带置信度评分,形成 agent 循环(最多 8 步)
    • 内置可视化编辑器,可以自己写 JS 工具函数给模型用

    技术栈:

    • 45M 参数模型( Cactus Compute Needle 2 ),C++ → Emscripten → WebAssembly
    • 模型权重打包在插件里(~13MB ),运行时 ~28MB 内存
    • 纯 vanilla JS ,MV3 side panel ,无构建步骤,解压即用
    • 加载后完全离线,数据不出浏览器

    演示:

    demo1

    demo2

    安装:

    1. 下载: https://github.com/beancookie/chrome-needle/releases/latest/download/chrome-needle.zip
    2. 解压后到 chrome://extensions/ 开启开发者模式 → 加载已解压的扩展程序 → 选择解压文件夹

    开源地址: https://github.com/beancookie/chrome-needle

    第一次发这类分享,轻喷,欢迎 star 和提 issue 。有什么好的想法或者想让它支持的工具都可以聊。

    luzhong
        1
    luzhong  
    OP
       8h 13m ago via Android
    方式一(一键安装,推荐)

    1. 下载扩展包:
    https://github.com/beancookie/chrome-needle/releases/latest/download/chrome-needle.zip
    2. 打开 Chrome 浏览器,在地址栏输入 chrome://extensions/ 并回车。
    3. 开启右上角的 “开发者模式”(如未启用)。
    4. 将下载好的 .zip 文件直接拖拽到扩展程序页面中,Chrome 会自动完成安装。

    ---

    方式二(手动解压安装)

    1. 下载扩展包(同上链接)并解压到本地文件夹。
    2. 打开 chrome://extensions/,开启 “开发者模式”。
    3. 点击 “加载已解压的扩展程序”,选择刚才解压出的文件夹即可。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1031 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 22:56 · PVG 06:56 · LAX 15:56 · JFK 18:56
    ♥ Do have faith in what you're doing.