@KaiWuBOSS #6 不比 10 年前的开源了。如果只是单体 application ，熟悉个把高级语言，也能参与。但是你这个是一个解决方案，里面涉及到的技能和知识点，不是 web 体系，有门槛的。你指望这些普通前后端围墙里的人，主动免费突破自己的知识壁垒，这是妄想。

而且你要做的这个事情，本身 top 厂商 也没有完全解决。还在演化迭代中，随着模型本身能力的进化，harness 都快要成过去时了。虽然，我不看好 LLM 这波，但是我自己也有使用的需求，我也持续关注。但是，变化太快了，你可以这么理解，agentic 本身的鲁棒性 一般，方法论迭代，时好时坏，benchmark 甚至都不能作为完整的验证依据。

这也是为什么市面上，迟迟没有人做。我 2024 年夏天的时候，langchain 就摸了一遍，去年开春的时候，llama.cpp 也摸了一遍，我这个摸，都是直接看源码的，当然，这是个人习惯，我看源码和看小说没什么区别。我为什么没做，因为，我看的太多了。我试图给 llama.cpp 找 异构多机多卡的分布式并行推理 的解决方案，想了几个月，并且还花点钱组了一个 10G 网络，但是最终，我发现是徒劳的。

比如，联网的问题，searxng ，如果你深度使用过就知道，就是个玩具（一则是它整合结果的算法，二则是 search 能识别有时候返回不相干结果）。不用钱买 search api ，都是玩具。
记忆这块，本身学界也没有什么好方案，论文出了一大堆，吹的比实际都好。至于 a ，o ，厂的技术，基本上都是人力财力堆出来的。开源完全无法媲美。

kvcache 的问题，在 gram 有限的开源环境中不可能解决，这是 0 day 原始问题，不是工程技术的问题，是原始架构的问题。唯一的方法，就是堆 gram 。

context 问题，和 kvcache 如出一辙。

有限 gram 的开源异构环境，没有通用解。

debug 神经网络模型，都是用 pycharm remote 到 gpu 的容器里，直接改了就跑结果。

要用到多 CPU core parallel ，就直接 goland remote 到多 cpu 的 container 里直接 build&run 。

@makictos #23 有时间有精力，就多追一下业界最强。

Decoupled DiLoCo for Resilient Distributed Pre-training https://arxiv.org/html/2604.21428v1

哥们儿的态度，我很欣赏。

@KaiWuBOSS #35 单机多卡 llama.cpp row 模式，对多卡是要做按比例 row split 的，如果 N 张卡都放不下整个，offload 到 cpu/mem 的部分，这之间怎么配比，你这个方案里没有。

比如，1 2080 11G ，1 3090 24G ，跑 unsloth/Qwen3.6-35B-A3B-GGUF Q8 ，38.5G ， 多卡 parallel ，类似这种切分的解。

我阐述的问题是，N 不同的情况下，可能没有通用解。每个 N ，都是单独的。

@makictos #24 味儿太浓，你要是能不这么端着交流，我还能高看你一眼。但是你这装的，处处感觉自己屌人一筹。讲真，LLM 这波还能走多远都是个问题，行家都知道 LLM 根本没有什么搞头。你也就是在这波泡沫里游荡一回罢了。底层这点工程技术，早就没什么新鲜东西。而且我都没问你，你解答个什么？你给 OP 回复就行了，并且你回复的也不是我不懂的东西嘛。讲了和没讲一样，谁不知道 nvlink?

一开始是无所谓冒犯不冒犯的，但是你后面这两个回复，确实味儿太冲，熏到哥们儿了。但是我理解你孤芳自赏的内心，我原谅你。

@KaiWuBOSS #25 单机多卡 tensor parallel + offload ，比单卡 + offload 复杂多了。

@hhh12 #10 一帮只会点三板斧，连高德纳 具体数学 估计都整不明白的 三脚猫，臧否起来，全身上下就只有嘴是最硬的。

https://www.v2ex.com/t/1207254

看他的帖子，他有一台。

@makictos #20 训练多大参数的模型呢？有这个训练需求的，单卡早超过了 128G 。全世界不会超过 10 家，这 10 家的 infra 技术，和，你，我，他，有什么关系？你，我，他，会不会，懂不懂，又有什么关系？

你的观点是工程学术理论极限，但是学界也没有条件搞这个级别的集群的工程技术创新，普罗大众也接触不到。能研究这个极限的，也就大厂的那些个有条件接触超大集群 infra 的工程师。理论极限，我当然懂。我每天都看最新研究论文。

我的观点是，多机多卡分布式并行推理，就算是攒了一些低端卡，凑个 40G 网络的普通玩家来说，也是个鸡肋技术。不要说训练，多机多卡分布式并行训练，虽然起码理论上来说，我懂，但是我也没实践过，没条件。但是，并不是说，每个人从理论上都懂的。

@kloudmuka 铁子，学界又整了一个新项目，试一下？

https://arxiv.org/html/2604.12231v1

https://github.com/ulab-uiuc/Thought-Retriever

glm5.1 Q8-k-xl,811G ,2 个 m3 mac studio ultra 512G 通过 雷电口串起来跑 pipeline ，也是能跑的。就是慢罢了。

amd 2023 年出的 mi300x,单卡都 192G hbm3 ，一机 8 卡，也有 1.5T ，现在开源的量化都能单机塞进去。
就不用说 2024 年出的 mi325x ，单卡 256G hbm3e ，一机 8 卡，2T ，开源的 BF16 都能塞进去，还有 context 空间。

所以，多机多卡分布式并行推理，在这些大船靠岸的时候，都是过去时了。只是，当下，对于市面上的穷人来说，还是有用的。或许，工程学术上还能水一点文章。

LLM 多机多卡分布式并行推理的话，infra 上的优化总是有限度的，还得是 架构优化，kvcache 量化，pd 分离，虽然都是老生常谈，但是真的必须得用。

要是 pipeline 串行推理，那非常简单明了，10G 以太网都能搞。

@YooooungLee 现金为王，当然没错。找个贤惠的媳妇儿，老婆孩子热炕头，未尝不是一件人生乐事。人强随他强，我自清风拂山岗。

铁子最近最大的贡献，就是让我对 dgx spark 祛魅了，😂。

我还一直想攒钱买，但是一看这拉胯的表现，还是算了。

1 ，如果没成家，并且短暂的时间内，都不想成家。那就随心而造，只要不违法犯罪，对自己的健康负责。缺少鸡血的时候，推荐你看乔布斯在斯坦福的演讲。年轻就是试错找路，没有什么是一成不变的。

2 ，如果你成家了，或者想成家，那么就只能稳，苟，对家庭负责。在这个框架限度内，从工作中硬找点乐趣，来充实自己。

3 ，没有人能预测五年之后的事情，国家层面的工作计划都是 5 年一个阶段。不要 FOMO 热点，这是我的经验。

速食吃多了，dy 看多了，既要快，又要好，还要准。可能吗？

plantUML

一个十多年都没嗝屁的玩具厂，还是有点东西的，还能随时代做转变，如果是我，我会选择 A 。因为 A 会更看重你，这对能力的提升是有帮助的。如果你有心，后续是有更多思路去观察制造业。

在 B 里，随时可有可无，没有存在感，随时 fire 你。讲真，要么做量化，要么做融资，但是股票期货，我更多相信是量化，但是量化的 coder ，讲真，当前的 LLM coder 针对的就是这种。主体在境外的，如果受限各种 zc ，一旦波动，fire 一个 team 太正常。 你能在这里拓展金融业甚至量化的可能，比较低，都是螺丝钉。

年轻人，大小周是一个点，但是也不能太短视。