再多说几句：

1 ，你的问题，如果是 vllm 支持的 gpu ，那么 kuberay+vllm 早就能搞定 多机多卡分布式推理。如果是 vllm 不支持的 gpu ，llama.cpp 的 rpc server 支持多机多卡的 pipeline 模式即 layer split 的推理。tensor parallelism 即 llama.cpp 的 row split 目前还不能 多机多卡。

2 ，实际的，你的框架当前能单机多卡跑 Gemma4 系列，qwen3.5 系列 了吗，这是两种不同 attention 的模型，如果能跑通，benchmark 对比 llama.cpp 如何？如果跑不通，连走都还不行，就不要谈跑了。

3 ，cc 能让你搞一点 web 前后端，app 之类的，就不要以为能搞定这个 推理方向上最难的问题。

4 ，上半年号称要搞定单卡推理超出 gmem 参数容量的 LLM 的那哥们儿的项目，为什么熄火了？

@NorthGod 看你这个回复，估摸着还没摸到门槛。你搞清楚了 microgpt 的每一个过程了吗？能从 0 开始训练一个 LLM 吗？你搞不清楚这些，怎么搞推理？推理就是训练的 once 。况且当前的 attention 的演化，导致 kvcache 分了不同的路线，这些你都不搞透彻，怎么把整个 LLM 切成多份？不管是横切，还是竖切。

最最主要的是，当前的 attention 加入 rnn 这种循环网络的动态机制之后，类似于 mamba ，混合 attention 连 llama.cpp 当前都没有完全搞定，就不要说 切分之后通信了。

你有想法是好的，但是不能太多的想当然了。

@NorthGod 你先看明白，单机的多卡推理先，然后才是多机多卡。然后搞明白，推理引擎最重要的是什么。

1 ，首先，你不可能再造一个 类 llama.cpp 的框架轮子了。为什么，每个 LLM 的架构都在演化，每次都要重新根据不同框架写架构算子，这一块，一个人不可能搞得定。上对 LLM 框架理论，下对 cuda/musa/rocm/vulkan... 。

2 ，单机多卡的通信，多几多卡的通信。在 pipeline / tensor parallelism / expert parallelism ，通信上的难度是不一样的。

3 ，以上的问题无法收敛，这也是为什么 llama.cpp 现在 多几多卡 也只有 rpc server 。

《 hands-on llm serving and optimization 》 看完过这本书没？

看完了你再想一下，你这个项目的难点在哪里，你准备怎么解决这些点。

整个发展，最大的泡沫就是这次的 "tokens" ，围绕 "tokens" 的一切 被刺破的时候，又要再回到一个低谷。

直到 忆阻器真正量产 并配合 snn ，才能真正的撑起 改变世界的 AI 。

他们这波人里，我最欣赏 陈天奇，李沐，王树森。

牛逼，有钱

因为世界就是这么千姿百态，你只是其中一分子。大家都面临着各种问题。

你这个问题是一个 很核心也很基本的问题。

1 ，♾️ context ，这是理想目标。不过理论上可能是达不到了，因为过去的 context 一旦存在压缩，就必然有信息损失，如果能找到一种 信息的无损压缩方法，就很嗨皮了。

2 ，知识 和 经验，又不同，大部分静态知识 可以 lora / TTT ，搞进基础模型参数里。但是经验 是在迭代更新的，要么像 git 那样显式的版本控制，要么 memory 。但是都存在一个基本问题， 什么时候 记，什么时候 取。当前，就我来看，你只能显式的声明，把你认为重要的要模型记住的东西 写入 memory ，下次让模型先从 memory 里读 相关的内容。因为既然做不到 ♾️ context ，在不同 context 之间，只能用这种显式的有状态来同步。

我感觉 jackrong 就是个整花活儿的，他可能在疯狂实验 缝合，蒸馏 这些技术的极限。

缝合这种早期技术，没有走太远，就说明了还是少点什么的。至于蒸馏，辅助罢了。

再风味，也摆脱不了 基础模型本身 层数 和 宽度 带来的基本限制。

@BaiLinfeng deepseek 的意义在于，不在硅谷，也能搞的出和硅谷扳扳手腕的 LLM ，祛魅之前对硅谷的亦步亦趋。

@Shielber 起步是 96G ，你打错数字了。

这个玩游戏很爽了。

glm5.1 Q8 模型大小 811G ，10 个人并发的 1M context kvcache ，算 Q4 压缩，一个人大概留 100G ，因为 agent 回反复读 context ，那么 10 个人就得 1T 。所以你要准备 2T 左右 gmem 的环境，目前能买到的 H20 单卡 96G ，起码准备 20 张，单机 8 卡，准备 3 台机器。

h20 96G. ebay 上目前大概 8w 一张，卡就要 160w ，算 40w 能搞到 3 台服务器，外加网络。200w 起步，还要自己搞环境，另外电费另算。

@xiaolucha 别搞笑了，你这份外包之后，还能不能再找到工作都是问题，就不要考虑什么以后了吧，当前最优抉择就是当前的利益最大化。这都看不明白，你在数据领域搞的这些年都在搞什么，自己对世界的认知一点都没提升啊。

每天 vibe coding 很多没有任何商业价值的乐色，有什么用。

这么点成本的投入给公司集体用？就 amd 这机器的 umem 带宽，你自己一个人用都慢的无法接受，还给集体并发用，想什么呢。公司机器用没有个几百万的投入，都不用开始。

@hotoh521 我当然知道，我是说，你这个切入角度，是有商业价值的。

@yu6564172 你这个也有搞头，但是 命题太大了，比 OP 的这个盘子还大。你搞钱招人都不一定搞得定。