yyluxe
V2EX  ›  macOS

请教 Mac studio 部署 ai,用 ollama 还是 lm studio

  •  
  •   yyluxe · May 15, 2025 · 3936 views
  •   You need to sign in to view this topic
    This topic created in 440 days ago, the information mentioned may be changed or developed.

    请教 Mac studio 部署 ai ,用 ollama 还是 lm studio 更好一点?不甚了解,希望懂得朋友可以在给出答案的同事稍微讲一下理由 !~

    21 replies    2025-09-10 12:06:54 +08:00
    Surechun
        1
    Surechun  
       May 15, 2025
    非技术人员用 ollama ,部署简单,常用的模型都有。而 LM 一般给技术人员去折腾的,模型量会比 ollama 多一些,模型的选择源多一些(直接去 Hugging Face 下载模型用)
    ZiChun
        2
    ZiChun  
       May 15, 2025
    我的建议是 lmstudio 。我这边 M4 Max 使用 lmstudio 部署 mlx 格式的 qwen-30b-a3b 能有 95t/s ,ollama 部署 qwen-30b-a3b 大概是 75t/s 。
    fredweili
        3
    fredweili  
       May 15, 2025
    我用 ollama ,简单,模型也比较丰富
    不做微调之类的,主要学 MCP 和 Agent
    G200
        4
    G200  
       May 15, 2025
    mlx 格式优先,选 lm studio
    icestraw
        5
    icestraw  
       May 15, 2025
    我建议 API 。mac 性能太低,模型太小不实用,太大跑不动,ram 装得下并发也低,训练也跑不动。除了玩一下子没啥大用。
    heyjei
        6
    heyjei  
       May 15, 2025
    lm studio 不是更简单嘛。

    在一些网络隔离的环境下,独立部署是非常有必要的。
    234ygg
        7
    234ygg  
       May 15, 2025
    性能太低,没有部署价值,api 或网页版很便宜
    duvet
        8
    duvet  
       May 16, 2025
    API 比电费便宜,除非想自己微调或者担心隐私问题没必要本地部署
    slowgen
        9
    slowgen  
    PRO
       May 17, 2025
    用 LM Studio ,配合 MLX 和 DWQ 量化(最新的一个量化方法,质量很好)很不错,开 KV Cache 也方便,我拿 M2 Ultra 跑 Qwen3-30B-A3B-DWQ 的 4bit 版可以到 105token/s ,Qwen3-235B-A22B-DWQ 的 4bit 版本也能到 32token/s
    SakuraYuki
        10
    SakuraYuki  
       May 19, 2025
    ollama 省事
    yyluxe
        11
    yyluxe  
    OP
       May 19, 2025
    @Surechun 好滴 多谢
    yyluxe
        12
    yyluxe  
    OP
       May 19, 2025
    @ZiChun 试了试 确实如你所说
    yyluxe
        13
    yyluxe  
    OP
       May 19, 2025
    @fredweili 好滴
    yyluxe
        14
    yyluxe  
    OP
       May 19, 2025
    @G200 ollama 没有这个格式?
    yyluxe
        15
    yyluxe  
    OP
       May 19, 2025
    @icestraw 私密 私密
    yyluxe
        16
    yyluxe  
    OP
       May 19, 2025
    @heyjei 是的 太对了
    yyluxe
        17
    yyluxe  
    OP
       May 19, 2025
    @duvet 私密 私密
    yyluxe
        18
    yyluxe  
    OP
       May 19, 2025
    @shuimugan 好主意
    yyluxe
        19
    yyluxe  
    OP
       May 19, 2025
    @SakuraYuki 好的 多谢
    yyluxe
        20
    yyluxe  
    OP
       Sep 10, 2025
    @G200 ollama 能用这个格式不
    yyluxe
        21
    yyluxe  
    OP
       Sep 10, 2025
    @shuimugan 这么高!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4115 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 50ms · UTC 00:57 · PVG 08:57 · LAX 17:57 · JFK 20:57
    ♥ Do have faith in what you're doing.