我这么算 tg:
- 1.2TB/s 的带宽
- dsv4-flash 的激活是 13B 的 fp4 ，大概是 6-7 GB
- 1M 上下文时候 bf16 kv 是 7 GB

所以不带 mtp:
- 在 ctx=0 时，1200/7 = 171 tok/s
- 在 ctx=1M 时，1200/(7+7) = 85 tok/s

参考：
- https://www.reddit.com/r/LocalLLaMA/comments/1svzlog/the_exact_kv_cache_usage_of_deepseek_v4/

Aug 20

Replied to a topic by nc › 分享创造 › 之前答应给全楼送永久 VIP 的 jav.hk 上线了

OP 有没有考虑过全部上传到 tg 一个频道里？
自己存储太贵了

Aug 20

Replied to a topic by Livid › 信息安全 › 用 Socket 保护 DeekSeep Harness 的安装和执行过程

DeekSeep ......
Livid 你故意的么？

Aug 14

Replied to a topic by zpvip › Local LLM › 想不到浓眉大眼的 Livid 也受限于邀请链接

这网站怎么瞎推荐啊

Aug 12

Replied to a topic by iiimichael › 问与答 › 回首来看，当年学的诗词甚是充满力量与哲理，最爱哪一句？

天若有情天亦老人间正道是沧桑

Jul 23

Replied to a topic by ook › NAS › 讨论：我们究竟需要什么样的 Homelab / AI NAS？

NAS 我最大的需求是超长续航，可以稳定运行 10+ 年不用拆换修补任何配件，最小化维护代价。
第二个需求是最大化存储，100+T 的硬盘运行在稳定环境下，温度电压都稳定，不至于让我隔一两年就要换硬盘。
你要装 NPU/GPU 上去，功耗上去了，稳定性下来了。而且模型每年变化这么大，升级维护大家也是很大的。真不如直接买 DS 的推理服务。
所以我看来 AI NAS 是个捏造的需求，很有可能是厂商折腾出来卖硬件的。

Jul 15

Replied to a topic by Sunrisepeak › 程序员 › 最近给专门为 C++模块化打造的构建工具增加了 gcc16/mingw 支持, 可以一键在 Linux 上构建出 windows 的 exe 程序, 欢迎体验 mcpp

问一下 OP ，对于以 dll 发布的第三方库 (vc)，可以支持么？如果可以就太好了。

Jul 8

Replied to a topic by rizon › 程序员 › 深夜诡异问题： Claude code 说接收到了 cursor Agent 的 review

有的。
有时候 Claude 搞不定了甚至会向 Codex 求救。
不过很少发生，我只见过一次。

» More replies by c0xt30a