RT,几个人一起出资租好点的算力然后部署开源大模型( Qwen,h3,deepseek 等),做成一个接口访问是不是比订阅更划算?
RT,几个人一起出资租好点的算力然后部署开源大模型( Qwen,h3,deepseek 等),做成一个接口访问是不是比订阅更划算?
1
ktyang 11h 53m ago
没办法高效调度和满载利用的话是不可能划算的
|
3
azuis 11h 49m ago
怎么解决高峰时段大家都想用的问题呢?
|
5
mingtdlb 11h 23m ago
你讲这个话前,先去调研看看算力租赁什么价格吧...H200 一个月十几万。
现在的问题我认为不是 token 贵,而是它不能保证一次解决问题,比如 100 块解决一个任务 现在做算力的应该都是赔钱赚吆喝吧 |
6
strobber16 11h 22m ago via Android
您是不是在找: ollama cloud
|
8
iwasthere OP @strobber16 不不不,你这个还是订阅
|
9
soulflysimple123 11h 4m ago
你的成本控制的会比那些云服务厂商更强吗?
|
10
sillydaddy 10h 38m ago
这个问题我觉得我已经有答案了:
「个人是否应该投资购买 DGX Spark 之类的硬件来跑开源模型?既是自用,也是某种防止硬件涨价的投资?」: /t/1234981 「两台 dgx-spark 部署满血 deepseek v4 flash 完全指南,稳定 60~70tok/s 单流」: /t/1232688 即使是 DGX-Spark 这样的显存带宽很低的,按照现在的 API 价格,跑满负载的话,也完全可以在 1 年左右回本儿。 但是,考虑到订阅价格普遍比 API 价格低 20 倍,即使按照 API 是 1 年回本来计算的话,按现在的低订阅成本,也需要 20 年才能回本。也就是说自己部署是永远也不如订阅划算的! 为啥订阅这么便宜呢?不太清楚。收集真实数据?通过入口留住用户?总之,这可能就是厂商的一种补贴吧。你能打得过补贴吗? 除非因为某些原因,无法使用订阅,比如隐私,比如订阅中缺乏替代模型,比如订阅会被限额限速。 |
11
ktyang 10h 33m ago
@iwasthere #2 h3 可以搞,甚至都不需要多好的算力,搞个 80G 的显存就够了,视频模型的定价和代码模型的定价逻辑完全不一样,除此以外的都没必要了,写代码的那些模型如果你想保证质量且流畅的使用价格都很高,五六个人也没办法应付的,远比一人一个 x20 要贵的多。
|
12
46fo 10h 31m ago
租西半球的谷电算力
|