V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  coefu  ›  全部回复第 13 页 / 共 74 页
回复总数  1471
1 ... 9  10  11  12  13  14  15  16  17  18 ... 74  
❮ ❯
看到这么多菜逼,心里也有底了。😂
7 月 15 日
回复了 xiaowowo 创建的主题 › 生活 › 中医税?
有意见就去卫健委投诉嘛。
7 月 15 日
回复了 mingtdlb 创建的主题 › Local LLM › 跑本地大模型 电费要多少?
在数据中心用 mac ?这都能想的出来。

用 mac studio 当然是在家里,甚至是在自己桌面了。低功耗,无声,无需额外散热(和人一起待的有冷气的房间,那铁皮盒子散热比 mbp 都高效)。B 站上面 rtx6000 最静音的方案,2 米以内也有噪音,就别说热量了。
7 月 14 日
回复了 NorthGod 创建的主题 › Local LLM › 多机异构显卡组合推理
@NorthGod 有决心有信心就好好搞,希望你能成功。我目前重心不在这块,等我有余力了再给你助力。加油,fighting !!
7 月 12 日
回复了 l1ttletest 创建的主题 › 职场话题 › [求指点]26 双非本选择求助
毕业之后的第一份工作,如果不是“天才少年”,大多都是先经历一遍社会的毒打。

“薪水次月一周内发放” 你大概不知道,压工资压到次月 25 号的企业也是大把的。
把数学搞好,读个研究生不是什么坏事,不要只看到目前的就业,那样很短视。

数学搞好了,可以让你有更多的选择。cs 领域的路线,走深了都离不开数学。
7 月 10 日
回复了 T1ght 创建的主题 › 职场话题 › 实习一周了
有妞儿泡妞儿,没有也要泡妞儿。年轻就是要找妹儿。
7 月 10 日
回复了 mingtdlb 创建的主题 › Local LLM › 跑本地大模型 电费要多少?
@mingtdlb 整机最高持续功耗才 370w ,和 单卡 3090 相当,关键是 1 ,跑不到满载,2 ,3090 之外的准系统起码要 250w ,所以整机起码要 600w ,按照 80%的转换率,电源起码要 800w 。这个一来一回,摸着者 4 ~ 5 倍的电源消耗差距。
7 月 10 日
回复了 mingtdlb 创建的主题 › Local LLM › 跑本地大模型 电费要多少?
mac studio ultra 跑 qwen3.6 27B Q8,功耗维持在 150w/h 左右。263k context 平均能到 10token/s ,36000 token/h * 7 = 252000 tokens,一度电。1M 大概 4 度电,0.65 一度电,大概 2.6 元 / 1M tokens 。 和 deepseek v4 flash api 价格( 1+2 )差不多,主要还是隐私。
就是没看得来他罢了,他自己又觉得不至于被看不来,心理落差大,吃不住这个心理落差。
7 月 6 日
回复了 123128xyz 创建的主题 › 问与答 › 来自镇上的我,不知道什么是网络公司。
接了宽带可以联到 Internet 的,就是所谓的 “网络公司”。 就这么简单纯粹。
且不说真实力如何,你这个取名的水平,高过他们很多人。
7 月 6 日
回复了 shendaowu 创建的主题 › 程序员 › 哪些因素会导致人低估大语言模型?
大部分不是这个领域的人的 高估低估 都是外行的八卦。

领域的发展也不会因为外行的高估低估有什么改变,因为能做出改变的不是这些人。
7 月 5 日
回复了 zf2187 创建的主题 › 职场话题 › 创业三个月,我进入了创业的倦怠期
“有时候你根本都不知道问题出在了哪里,你甚至都不知道自己是哪里做错了。”

“我们的产品的产品叫“连连 AI”,用 AI 帮你找人和自动沟通,适合程序员、创业者等群体之间进行连接。但也正是因为平台性产品的定位,我们需要很多很多的用户。”

有没有可能,你这个 idea 就没搞头?典中典,感动了自己就以为能感动别人。
7 月 5 日
回复了 tracker647 创建的主题 › 职场话题 › 关于学 ROS 的一些疑问
如果只是打工的话,201x 年代,可能会有一些小作坊能接受。但是当前嘛,有技能的人多得是。你卖的是技能,那就只能一两千页的书,从头开始,每个点都摸出一定深度。

如果你是自己搞,无所谓了。讲真,具身智能这块,还真像宇树的老板说的那样,先开搞,需要用到什么再学。毕竟是工程类,一开始就搞 一两千页的书从头开始,是个人都受不了。

比如灵巧手,这种需要什么场地?淘宝丰俭由人。

ps:ROS 如果你都觉得难,那具身智能要参与进去,估计够呛。真正搞深入,还得看原典。鱼皮的教程和 csdn 坐一桌。
7 月 3 日
回复了 NorthGod 创建的主题 › Local LLM › 多机异构显卡组合推理
1 ,我押的是**内网一堆随时会掉的杂牌消费卡(网吧场景)上,节点掉了服务不断**——层粒度冗余 + 故障转移 + 预测调度 + 计费 / SaaS 。这是 vLLM (要可靠同构)和 llama.cpp rpc (无容错无服务层)都不碰的问题。

这才是最难的。

2 ,诚如 fcten 所言,我之前也忽略了事情的意义。 既然是多机多卡分布式推理,那么起码也得是搞个 300B 以上的模型才有意义。也就是说在 1 里所描述的,很难像 llama.cpp /vllm/sglang 那样通用。你只能在几种特色模型做 定制。支持的模型多寡,和功能是否能通,性能优劣。只能做平衡取舍。你不可能做到支持所有的模型,又还能性能卓绝。

3 ,在功能上来说,推理就是训练的 once ,这不只 llm ,任何机器学习的模型就是这样。你说的那是 推理支持并发的性能问题。和 web 领域一样,是只要 10 个并发的 blog 和 10w 并发的门户网站的技术区分。

4 ,如果 1 的问题你不是 vibe coding ,我可能还有兴趣凑合一波,但是哥们儿看不了也不想细看 vibe coding 的这种 infra 代码。

@NorthGod
让东南亚的老板赏识你重用你。
7 月 2 日
回复了 NorthGod 创建的主题 › Local LLM › 多机异构显卡组合推理
最后,我依然对这种 有雄心壮志并且肯动手的人 此致敬礼!
1 ... 9  10  11  12  13  14  15  16  17  18 ... 74  
❮ ❯
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   6006 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 46ms · UTC 03:26 · PVG 11:26 · LAX 20:26 · JFK 23:26
♥ Do have faith in what you're doing.