RAG 有门槛的，要一些工程优化的手段。准不准的关键在 rerank 。 当然了，细节上肯定是有语义丢失的，要想更精准，还是要新东西支持。RAG 本身就是个过渡方案。一两年之后，还有没有人继续用都是个问题。

给你介绍几个路线，免得被说嘴炮了：
1 ，又多又准，又省资源的路线： https://github.com/EverMind-AI/MSA ，这个技术可以将知识放到内存，省显存方案

2 ，又快又准： https://github.com/mempalace/mempalace ，启动 token O(1) 级别的快，还能记的准。

1 ，难一点，2 ，简单一点。

@coefu #6 all, qwen3.6 35B A3B 开源了，打榜分数确实更强，我打我自己的脸。

先试 llama.cpp 的 8 卡 tensor parallel 。反正一年前的 8 卡 TP 模式，是有点问题的，不知道修复没有。如果不行，就上 vllm 。

unsloth/Qwen3.5-397B-A17B-GGUF, UD-Q6_K,327G,留 50G 跑 context ，看情况；如果 context 不够，就换 UD-Q4_K_XL ，245G ，留 130G 跑 context ，肯定够的。

IDE 用开源的 continue 即可。想完全 agent ，估计够呛，你自己得盯着。local 的能力肯定不如云端 api 的。

agent 这条路，本身就是跑不通的。理论决定了。

每次 agent 的成功率到不了 100%，N 步之后，就会降到低于 1%，完全失败。云端无非就是用巨量资源让这个 N 长到能覆盖每个人的任务。端侧的这个 N 因为资源的限制，比云端 api 要低几个数量级。

云端 api 的体验，在 local 本地，基本上就无法体验到，理论决定了。

@enihcam #36 A16 这种，配合 LatentMAS ，实际上是当前最佳方案了。同一张卡有 4 个 gpu ，可以跑 4 个 qwen3.5 9B Q8 ，合作的好的话，能力提升是指数级的。

要用好，需要很多绝招。比较难搞，但也并不是搞不成。

用多个 agent 并行，并且改造成隐式推理，用 LatentMAS 技术（ https://arxiv.org/abs/2511.20639 ，https://github.com/Gen-Verse/LatentMAS ），这个要改 模型的 transformer 架构，将 kvcache 流动起来，对显存也有挑战。 多个 agent 并行隐式推理，能保证速度，多个 agent 也能提升智能。

就算是 Qwen3.5-35B-A3B 的 BF16 ，也有 70GB 了，长 context 的 kvcache + LatentMAS 本身也要显存，估计单卡 128G ，可以搞。

@coefu #37 不过，mi50 夸张的 1.02T/s bandwidth + pcie 4.0 ，足够有吸引力了.

@enihcam #36 还有一个极致的 hack 128G 方案，只怕你技术不行。

amd mi50 32G * 4 。 最关键是，mi50 32G 因为其折腾的门槛，海鲜市场当前 950 一张，4 张 才一张 nvidia tesla v100 32G 的价格。

但是，复杂的 rocm 配置，和多卡 tensor parallel 的技术，有点门槛的。

@diudiuu #25 你们赚钱了没？

@enihcam #26 你搞到技术面，还是基本面？基本面，我有大招。远超市面上的技术。

@enihcam #22 dgx spark 纯属老黄恶心人的，喜欢搞一些非 HBM 的 消费级 gddrX 显存 搞成超算产品。

什么 A10 ，A16 ，就是 Ampere 核心 + gddrX 显存。 特别是 A16 这个奇葩，搞了 4 个 弱 Ampere 核心（只有 1280 个 cuda+40 个 tensor core ）+ 16G gddr6 ，一张卡凑了 64G 。每个 Ampere 到 gddr6 有 200GB/s 的 bandwidth ，四个 core 片上走 pcie 直通，tensor parallel inference 能搞到 800GB/s 。

@diudiuu #27 dgx spark 这么拉，我还想攒钱买呢，一看到

Memory：128 GB LPDDR5x unified system memory, 256-bit interface, 4266 MHz, 273 GB/s bandwidth

JD 上面要 3.4w ，就给个这。

我发现一个神卡，Nvidia tesla A16.

spark 就这尿性了，mem bandwidth 决定了的，推理引擎也救不了。 还不如 amd mi250：

GPU Memory
Dedicated Memory Size
128 GB
Dedicated Memory Type
HBM2e
Memory Interface
8192-bit
Memory Clock
1.6 GHz
Peak Memory Bandwidth
3.2 TB/s
Memory ECC Support
Yes (Full-Chip)

看 mi250 这屌炸天的 3.2T mem bandwidth ，就算是 rocm 拉，也就是优化 rocm 的事情，现在 LLM coder 都能整 cuda ，难道不能整 rocm ？看好 amd ，yes ！

@philobscur #20 你什么技术底色，符合我对你的认知定位。但凡你懂点 web 之外的东西，算我对你高看一眼。

@xing7673 阿里都要闭源卖 api 了，还指望开源能替代它自己 api 的东西？都成立了 Token 顶级组织，明摆着要让你们围绕各种 app 消费 tokens ，真是井底之蛙，夏虫语冰。

@philobscur #10 不要看说什么，等放出来了再来打我脸，ok ？真放出来，确实强，那是我这次错了。

@MuyuQ #11 因为从 2024 年春天开始，这两年来我几乎每个开源模型的中小尺寸都尝试过。


我主要集中在神经网络底层前沿技术的探索能力。Transformer 的变种实验，SNN 脉冲神经网络的变种实验，DRL 里自定义网络实验。我提供 idea ，模型给代码，我跑结果，模型 debug ，这个 loop 。在线的官方模型 和 本地部署的 中小尺寸，比照能力。

有一讲一，我去年夏天用 qwen 在线的模型，一起 debug DRL ，几度把我带到了坑里。

后面换 chatgpt ，效果好一点，但是胡说八道依然存在，给出的论文索引大部分都是假的。

后面用 gemini ，就在上上周，我用 gemini ，再不知情的情况下，我们（我提供 idea ，gemini 负责代码实现）从 0 复现了 snn 里程碑的论文（ https://www.frontiersin.org/journals/computational-neuroscience/articles/10.3389/fncom.2015.00099/full ）。就这感觉，qwen/chatgpt 从来没有给我带来过。在 qwen3.5 开源的同时，我就本地用了一个下午，强确实强，但那是 gemma4 没开源的时候。昨天我用了 gemma4 一下午，对比在线 gemini ，同样的问题，几乎能给出 90%相似度的解决方案。你说，我激不激动？ gemini 的能力，我是深度认可的，因为在一些还没有结论的问题上，确实能辅助一起探索，关键是几乎不胡说八道。

最后，如果只是一些 web 前后端代码 coding ，讲真，那只是很中规中矩的使用，感受不到上限的提升。

@unt 我觉得，和 gemini 来比，gemini 现在搞的这种情绪价值提供，反而让人不客观了。今天，试用了一下午 gemma4 31B,可能是 system prompt 没有设置什么情绪相关，反而更理性客观，没有 gemini 的夸夸味。

@unt 当前开源里，普罗大众能用到的最强悍模型了。2* 2080ti 22g ，不到 4k 的成本，跑 31B Q8 ，估计能有个 10 Token/s 的速度，凑合能用。