V2EX › clemente 的所有回复 › 第 6 页 / 共 58 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 ... 2 3 4 5 6 7 8 9 10 11 ... 58

❮

❯

8 月 7 日

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@wwhc

对话中双方的具体错漏分析讨论角色观点/依据分析与评价 wwhc 看到 HF 文件列表总和为 167GB ，就认为只要 167GB 显存即可运行。
概念混淆：混淆了“磁盘文件体积”与“运行时显存需求”。没有考虑到 KV Cache 、并发数（ Batch Size ）、上下文长度以及加载精度对显存的放大效应。

clemente 提醒“满血 BF16 需求远超文件体积”、“运行显存还需考虑 KV Cache”。
思路正确：深刻理解 LLM 推理的显存瓶颈不仅在 Weight ，更在于长上下文下的 KV Cache 和计算开销。

8 月 7 日

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@wwhc 体积和运行时加载 vram 消耗是两回事啊

8 月 7 日

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@wwhc 你不妨吧链接和 readme 扔给 ai 解答一下吧

8 月 7 日

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

DeepSeek-V4-Pro with 1.6T parameters (49B activated) and DeepSeek-V4-Flash with 284B parameters (13B activated) — both supporting a context length of one million tokens.

8 月 7 日

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@wwhc https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731 --> 304B params

8 月 7 日

回复了 LuoDiNate 创建的主题 › 程序员 › 烧了 6B+ token,分享下我实践出来最好的 AGENTS.md

@WWwwMMmmMMmmWWww 只能说明你没用到位。。。我 codex/claude 最高档天天用

8 月 7 日

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@vandort 另外游戏显卡没有 tensor core 或者少很多。这才是高性能计算需要的。

8 月 7 日

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@vandort NV 或者 AMD 的 sdk kernel 库都是根据卡 sm 标号来的你老卡上显存 120gb 也只能解决能跑的问题速度天花板很低，因为 kernel 是按照 general 或者那个标号来写的

8 月 7 日

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@wwhc 满血 bf16 dtype 应该是 160Gib * 4 以上的需求还不考虑 kv cache 的话

8 月 7 日

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@vandort 别买电子垃圾还不如 rtx6000 呢

8 月 7 日

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

单张 B100 (192GB VRAM) 可以跑 NVFP4 版本的 deepseek-ai/DeepSeek-V4-Flash-0731

8 月 5 日

回复了 Mayday9421 创建的主题 › 随想 › 大家觉不觉得，考公成功的人，各方面能力在社会上也是超水准的。

全国考试冠军能去获得诺贝尔奖嘛

只靠会考试这件事本身，是换不来诺贝尔奖的。
会考试≠会解决

考试和能力之间有个转换效率 gap

8 月 5 日

回复了 YanSeven 创建的主题 › 程序员 › 现在的开发人手一个 mac 或者高性能 win，未来想必会有一半的云电脑

现在的电脑不靠一种芯片包揽全部工作。不同芯片有自己擅长和不擅长的事，不要求大家能力趋同，互相配合取长补短；不管是家里普通电脑，还是大型服务器，都是这套分工思路。

8 月 5 日

回复了 YanSeven 创建的主题 › 程序员 › 现在的开发人手一个 mac 或者高性能 win，未来想必会有一半的云电脑

现在计算都是异构的

cpu 也没必要和 gpu 一样啊
桌面电脑和专业的服务器也一样

8 月 4 日

回复了 wtcs 创建的主题 › 问与答 › 关于妹妹要不要继续读书的咨询

学英语去澳洲或者学德语去德国吧

这两个国家对家庭一般的人是飞跃

7 月 30 日

回复了 SteinsGate 创建的主题 › 程序员 › Giffgaff 封号潮？话费余额带不走？不如短信捐公益，一分都别留给 GG！

捐了
10 欧重症儿童基金
+
5 欧小猫咪基金

7 月 30 日

回复了 SteinsGate 创建的主题 › 程序员 › Giffgaff 封号潮？话费余额带不走？不如短信捐公益，一分都别留给 GG！

采用 Donr 服务商体系，关键词 + 数字，1~20 镑任意整数，完美解决你想要捐 £4 的需求
Make-A-Wish UK （许愿基金会，重症儿童心愿）
短号：70450
指令规则：WISH+金额
直接发：WISH4 至 70450 = 一次性捐赠 £4
不想接收广告：暂时无标准 NO 后缀，捐款后可后续退订

1 ... 2 3 4 5 6 7 8 9 10 11 ... 58

❮

❯