V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  diudiuu  ›  全部回复第 1 页 / 共 24 页
回复总数  475
1  2  3  4  5  6  7  8  9  10 ... 24  
1 天前
回复了 mightofcode 创建的主题 职场话题 我公司真的有古法编程程序员
都是丑打工当牛马的,不知道你在笑什么
@KaiWuBOSS 没有用 kuaiwu,我给的参数是实际自己部署的

我就是好奇这个已经是带宽的最大能力了,还能有优化空间吗?

有什么新的思路
@coefu 大哥你把我挂这了
这个 dgx spark 带宽就是 274g,比如部署 gemma4 31b 16bf 的,理论值也就 4token/s,我用 llama.cpp 部署也就到达 2.5token/s,这个是靠什么优化的.

还是我理解的不对
4 天前
回复了 chuchen023 创建的主题 职场话题 Vibe coding 有什么意义?
老板觉得牛逼就行
5 天前
回复了 coolpace 创建的主题 分享创造 写了一个 NestJS 中文文档站
这个跟之前叫 egg.js 类似
难得现在还有人手搓这个
有导弹
@gloeaerris 我的跟新的一样,官网报价
7 天前
回复了 diudiuu 创建的主题 Local LLM 部署本地模型 token 输出万能公式
@coefu 买机子的钱不是我掏的,我就是过了一下手,下次让他买 H200
我就问下她能换衣服不
7 天前
回复了 Croow 创建的主题 程序员 真心发问,想学后端需要学啥?
curd
@nc 好奇你这个是怎么做的,我已经关注你的 github,可以的话,项目里面有什么复杂的网络 ip 限制
gemma+ocr 一套

https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/tree/main

mmproj-BF16.gguf 这个是图片模型
8 天前
回复了 jdjingdian 创建的主题 Local LLM 本地部署靠不靠谱?
楼上说的买得那些,还是直接买 token 划算
8 天前
回复了 CareFreeSc 创建的主题 问与答 昨天和漂亮女孩 在一起了
呼叫心理委员
需要一场大雨,然后再高速上跑 100 多公里就干净了
@bojue
架子是自己搭建,内容自己写了一部分,其他都是 ai 搞得。

投放系统是自己写的
网络不好吧
@puzzle1 3 万 2 大洋京东买的,个人感觉不划算这个机子带宽太低了,gemma4 31b 16bf 完全可以使用,就是带宽太低了导致他吐出 2.5token/s

真的要买,还是要多了解后自己组装吧。mac studio 不敢推荐啊,毕竟这玩意都挺贵的
1  2  3  4  5  6  7  8  9  10 ... 24  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3379 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 49ms · UTC 12:24 · PVG 20:24 · LAX 05:24 · JFK 08:24
♥ Do have faith in what you're doing.