V2EX › coefu 的所有回复 › 第 11 页 / 共 74 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 ... 7 8 9 10 11 12 13 14 15 16 ... 74

❮

❯

8 月 20 日

回复了 turing518 创建的主题 › Local LLM › 老哥们，预算 3w 左右想弄一套小型化本地大模型硬件，求推荐

@xwayway 艾特错了，应该是艾特 OP 的，抱歉。

8 月 20 日

回复了 turing518 创建的主题 › Local LLM › 老哥们，预算 3w 左右想弄一套小型化本地大模型硬件，求推荐

@xwayway 我刚刚调研出来了一个极品方案。你这个 3w 块，肯定够，但是要做很多工作。不过，非常极品，2.x T 的那种也能跑，只是需要验证。工程理论上是通的。如果你乐意试一下，我们可以一起搞。非常有意思。足够出一篇 2 区 sci 工程论文。

8 月 20 日

回复了 lom 创建的主题 › 职场话题 › 可能.....读了那么多年书的我....真的要跑去送外卖了

钢丝球不是你想被刷，就有富婆乐意给你刷的。😂

8 月 20 日

回复了 turing518 创建的主题 › Local LLM › 老哥们，预算 3w 左右想弄一套小型化本地大模型硬件，求推荐

你要是舍得电费，组装多卡主机，也不是不行，就是费电，噪音大。dgx spark 就是省电。

8 月 19 日

回复了 coefu 创建的主题 › Local LLM › mac ultra deepseek harness & qwen3.8-27B 几点经验

@beginor 主要是 llama.cpp 256k context 的时候，后面实在太慢了，有时候慢到 deepseek harness 连模型的 pi 组件超时，重新发起会话又把之前的 context prefill 一遍，越长越慢，越慢越容易断，成了死循环了。

mlx-dspark 的 cache reused 估计能解决这个问题，但是 mlx-dspark 无法量化 qwen3.8-27B 这种混合注意力模型的 context ，导致 kvcache 膨胀的太快了，经常 oom 。更不用说用 draft 模型了。tg 速度其实和 llama.cpp 也差不多了。就图个 cache reused 。

8 月 19 日

回复了 coefu 创建的主题 › Local LLM › mac ultra deepseek harness & qwen3.8-27B 几点经验

@beginor 不知道，我也还在测试。

8 月 19 日

回复了 coefu 创建的主题 › Local LLM › mac ultra deepseek harness & qwen3.8-27B 几点经验

mlx-dspark 短 context 情况下，tg 真的是快，一次性蹦出来的。比 llama.cpp 一点点的吐，牛逼太多了。而且在会话中断之后，prefill 就是瞬间完成。llama.cpp 要是在一次会话，context 搞到 200k 左右中断了的话，要继续，光 prefill 之前的 context 都要一两个小时。简直折磨，😩。

8 月 19 日

回复了 idblife 创建的主题 › Local LLM › qwen3.8 本机部署后搭配什么搜索工具呢？

@idblife 上半年的某几个版本，确实质量不行，后面迭代更新了。

8 月 19 日

回复了 coefu 创建的主题 › Local LLM › mac ultra deepseek harness & qwen3.8-27B 几点经验

@panas mlx-community 的 8 bit ，mlx-dspark 只支持这个。

8 月 19 日

回复了 sentinelK 创建的主题 › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）

@yjhatfdu2 muse team 走走换换一大批人，估计也是很难做好了，都沦落到第三梯队了。

8 月 19 日

回复了 sentinelK 创建的主题 › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）

@noqwerty 如果是都支持的卡，llama.cpp 性能不如 sglang / vllm 。但是很多老旧架构的卡，异构卡，sglang/vllm 都不支持，就不谈什么性能了，起码 llama.cpp 还能编译了跑起来。

8 月 19 日

回复了 idblife 创建的主题 › Local LLM › qwen3.8 本机部署后搭配什么搜索工具呢？

非常简单的 case ，我在起码 2 ～ 3 个帖子里有提。都不看别的帖子的。

8 月 19 日

回复了 idblife 创建的主题 › Local LLM › qwen3.8 本机部署后搭配什么搜索工具呢？

docker 拉起一个 searxng ，cpu 都耗不到一个 core 。然后让 deepseek 自己写一个 searxng 插件。agent 自己知道什么时候该用。

8 月 19 日

回复了 BingoW 创建的主题 › Local LLM › 想本地化最小成本部署 qwen3.8 27b 求个配置建议

起码 64G 起步，32G 不够看。搞 2 个 v100 + nvlink 板，估计性价比高，就是费电了点，一个小时 1 度电。

8 月 19 日

回复了 sentinelK 创建的主题 › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）

@wcwcxiaobin 把 context 拉到 262144 试试，在接近快满的时候，慢的怀疑人生。😂

8 月 19 日

回复了 turing518 创建的主题 › Local LLM › 老哥们，预算 3w 左右想弄一套小型化本地大模型硬件，求推荐

还是 nvidia dgx spark 算了，之前看不来，现在很想买。😂

虽然带宽才 200GB/s ，但是无奈 cuda 和 gpu 都强大，市面上大部分优化都是针对这块的。

8 月 18 日

回复了 BadCat 创建的主题 › 职场话题 › 程序人的 7 年

心里要平衡一点，因为混了 18 年的，情况都一样难。

8 月 18 日

回复了 1258 创建的主题 › 程序员 › qwen3.8 27B 被低估了

@flyws 用 dspark 加速，有加速了 9.5 倍的。

8 月 17 日

回复了 1258 创建的主题 › 程序员 › qwen3.8 27B 被低估了

@Nzelites 2.4T 几乎没有个人有资源能跑起来，Q8 都接近 2.5TB 的参数量了。单看模型参数，Hidden Dimension: 8192 ，Number of Layers: 92 ，92 层深度，再复杂的小说，数学推理，都能搞定。8192 的层宽，表达能力以及领域知识肯定非常丰富。

8 月 17 日

回复了 1258 创建的主题 › 程序员 › qwen3.8 27B 被低估了

@catazshadow muse 在 llama.cpp 里，经常思考的时候，重开一个 slot ，确实比 qwen 一直用一个 slot 快。每次切 slot 都重新榨干带宽。

1 ... 7 8 9 10 11 12 13 14 15 16 ... 74

❮

❯