非常强悍，g 厂出手，都是弟弟。

31B ，要真正跑起 256k 的 context ，Q8 起码要 64G 显存。

对于一般 web 代码来说，体现不出来它的上限。当然，一般人也用不到它的上限。

现在打榜的 benchmark ，都是对标 博士级别的水平，只有你的 case 是真正的挑战，才知道和别的差距。

@tftNExtLife #14 你在你自己的世界里，玩耍的开心就行。不用再回复了。

@tftNExtLife #10 要是你这个真落实到实际生活中了，才可怕。以后你接了哪些项目，先发上来，让哥们儿知晓一下。

那篇文章太长了，我认为你肯定没有仔细完整的看完过。中心思想是 壳是过渡状态，LLM 本身能力的提升 会让 harness 这个壳 一直变化，一直迭代堵 LLM 的能力短板。至于 多 agent ，就和社会化治理一样多样化，甚至很难决出个第一。所以，你说你的 多 agent 方案，怎么样怎么样，讲句实话，就和 腾讯和阿里他们讲公司治理一样。这不是什么技术层面的事情。

什么是“涌现”，你先搞清楚了，再用这个词。

少点自己想当然的 YY ，多看点业界别人搞过的论文。

https://mp.weixin.qq.com/s/DE0hc3Mz6zwoSCgL0k4SgQ

@dacapoday nvidia dgx spark ，只是有钱没钱的区别。

https://mp.weixin.qq.com/s/DE0hc3Mz6zwoSCgL0k4SgQ

这哥们儿写了一篇正当时。

你们可以看到 订阅的 tokens 都是怎么烧没的，😄。以及，当前大众上下文语境中的“AI”的边界在哪里，这个问题可以衍生的，在 coding 领域如此，openclaw 所延伸的领域亦是如此。当最熟悉的 coding 领域都如此难搞，别的开放离散场景，只会更加难搞。

和 80 年代的 专家模型，本质上是一个路数的；如果你读过 The Bitter Lesson, 就能明白，这种把人类先验知识注入的模式，终究就是走不通的。

要都是那种 LLM 生成的文本，过不了多久，就没人乐意上号发言了。就彻底完犊子了。

@qshu #3 https://github.com/bytedance/deer-flow 大厂直接出了。

没有什么是不变的，都是变化的。没有什么金饭碗，银饭碗。

LLM 的架构和能力一直再提升。

比如 RAG 这种外围工程， 就有一个新的 MSA 架构，可以在 LLM 的 网络架构上重新设计一个模块，性能和功能都比 RAG 这种外围工程要好，以后做 RAG 的就会渐渐消失。

比如 长程记忆，现在也是做外围工程，但是 当 Test-Time Training 这种范式，渐渐成熟之后，性能和功能都优于基于外围框架的 长程记忆，也会渐渐消失。

也就可能 agentic 这块，还能有点存在价值，但是也是越做越少。

现在的情况是，做外围工程的信息比 LLM 原生的进展 慢，有信息差，实际上当 LLM 的原生能力提升之后，会吞噬它周边的一些当前过渡阶段的工程实现。

qwen3.5 4B 8 bit 都比 deepseek 70B 要强。

@gigishy 不用量化版本，有那么多资源？而且，量化技术，实际上损耗很低了。unsloth 的动态量化 8bit 可以达到 95%+ FP16 的效果。

OP 这个问题，主要是：
1 ，deepseek 70B,已经很落后了。
2 ，OP 的问题，知识库里没有，还要联网搜索。

不过，我看情况猜，大概率是用的 没有动态量化的普通量化版本，而且还是类似于 2~4bit 之间的。

@myadmin #58 4s 店都能看出，你是妻管严。

确实很顺了。没遇到什么波折。

@int11 味儿真足。

@whcattail #41 凑个小分布式集群，可以用来优化 vllm/sglang, 这块儿是正当时。