1140601003
V2EX  ›  硬件

预算 8k–1w 左右,有没有 gpu 深度学习服务器 ubuntu 组装配置推荐呐

  •  
  •   1140601003 · Jun 26, 2024 · 2393 views
    This topic created in 724 days ago, the information mentioned may be changed or developed.
    用来深度学习训练,大模型调用,微调,玩玩 yolo 训练与部署
    7 replies    2025-02-12 07:27:09 +08:00
    1140601003
        1
    1140601003  
    OP
       Jun 26, 2024
    来个人顶贴呀!!
    Fred0410
        2
    Fred0410  
       Jun 27, 2024
    不考虑用云吗? 我冲了 300 块钱玩了一个月了。。
    telaviv
        3
    telaviv  
       Jun 27, 2024
    能忍没有 bf16 的话,性价比最高的可能是 2080 Ti 22G ,单卡用 unsloth 可以调不少模型,ollama 推理 35B 模型可以 5-10 tokens/s ,双卡会更快些。
    1140601003
        4
    1140601003  
    OP
       Jun 27, 2024
    @Fred0410 云的不划算
    1140601003
        5
    1140601003  
    OP
       Jun 27, 2024
    @telaviv 我打算搞个 3090 ,搞个双系统来玩玩训练
    telaviv
        6
    telaviv  
       Jun 28, 2024
    @1140601003 可以的
    frankyzf
        7
    frankyzf  
       Feb 12, 2025 via Android
    @Fred0410 麻烦问下哪个云服务商?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   974 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 18:55 · PVG 02:55 · LAX 11:55 · JFK 14:55
    ♥ Do have faith in what you're doing.