• 请不要在回答技术问题时复制粘贴 AI 生成的内容
wises
2.09D
V2EX  ›  程序员

在自己家里搞了个本地大模型基座, 实现了应用内接入 AI 自由.

  •  
  •   wises · 5h 15m ago · 1140 views
    48G 内存小主机, 通过外接显卡埠一个 5070TI 的 16G 显存,经过 claude 的优化分配. 家里内网的一些应用直接局域网接入, 外部通过一个公网域名发布, 给一些广域网上跑的应用接入了 AI, 很好用, 模型是 qwen3.6-35, 基本应用内的一些对话和调用已经足够使用.

    期待显卡大降价, 这样我就可以自己开算力中心,小型的可以给朋友用的那种.
    Supplement 1  ·  4h 39m ago
    用来检索一些大型的单证, 和客户分析,只要不并发太多, 足够了

    Supplement 2  ·  4h 35m ago
    我也做了个统计面板, 这是 token 数量.

    8 replies    2026-09-07 15:32:18 +08:00
    soleils
        1
    soleils  
       4h 58m ago
    速度如何
    wises
        2
    wises  
    OP
       4h 52m ago
    @soleils 和显卡配置有直接关系, 显存越大肯定运行的模型越强, 不过目前这个显卡勉强能用,用来文字,图片处理, 一些在线客服足够用了.
    YanSeven
        3
    YanSeven  
       4h 46m ago
    比较好奇这个档次的本地智力是属于在原有的应用能力上“聊胜于无,锦上添花”还是发挥了核心的作用。
    wises
        4
    wises  
    OP
       4h 45m ago
    @YanSeven 这么说吧, 如果企业中应用了这个, 用来处理大规模数据还是有用的, 比如文档/单证/会计律师事务所这些单证比较多的还是足够的.
    soleils
        5
    soleils  
       4h 40m ago
    @wises #2 我是说你这套能多少 token?
    ostrichb
        6
    ostrichb  
       4h 38m ago
    企業還不如直接買一個 DGX Spark 跑,不缺錢買這個
    jinsongzhaocn
        7
    jinsongzhaocn  
       1h 17m ago
    最近几个月折腾硬件不划算,内存涨疯了,动不动就 1 万以上
    coefu
        8
    coefu  
       Just Now
    2026 年的 LLM ,就算是 qwen3.5 9B ,也是比 v 站 99.999%的人综合实力高。它比的是顶级(若干个领域的顶级博士集合)差,不是比只有单领域本科的大众差。


    自己了解下那些 LLM pk 用的 benchmark ,大部分人,估计拿 1 分的能力都没有。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5608 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 565ea56a · 39ms · UTC 07:32 · PVG 15:32 · LAX 00:32 · JFK 03:32
    ♥ Do have faith in what you're doing.