公司要搞一套环境，私有化部署各类模型，用来产品开发测试、demo 演示等场景，想和各位请教一下服务器的方案，一体机，还是工作站？参考 deepseek-r1 32b 或 70b 的配置。
This topic created in 457 days ago, the information mentioned may be changed or developed.
 |
1
wyntalgeer Mar 5, 2025
ds 就一个 671 希望你明白
|
 |
2
FabricPath Mar 5, 2025
B200 、H100 、A100 ，8*GPU+4 或 8*400G 网卡机型，能买到哪个买哪个，其他歪路子浪费时间。
|
 |
3
mythabc Mar 5, 2025
8 卡 4090 48G 性价比之选
|
 |
4
dzdh Mar 5, 2025
大量现货。欢迎联系。 微信：cevinc
|
|
5
dzdh Mar 5, 2025
32b 以下，就跟个傻子一样
32b ，回答的开始有那个样子 70b ，勉强够用 671b 。 嗯。好用。 |
 |
6
MimicOctopus OP |
|
7
MimicOctopus OP |
 |
8
njmaojing Mar 5, 2025
@Legman #6 你用 32b 和 chatgpt 跑一个 10PB 开源分布式存储建设方案就知道差距了，不过 671b 我还没时间测，回头在 8*A100 上试试
|
 |
10
wintersun Mar 5, 2025
同意，租了阿里云 GPU 服务器跑了一遍，32b 顶多高中生，70b 大专生，满血 671b 才是真博士
|
Select Language