V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  clemente  ›  全部回复第 13 页 / 共 58 页
回复总数  1159
1 ... 9  10  11  12  13  14  15  16  17  18 ... 58  
❮ ❯
6 月 10 日
回复了 wocanmei 创建的主题 › 汽车 › 还是电车香啊!
@Bisn 电车保险第三年 交强 商业 三者 300 万 一共 2300.。。
6 月 10 日
回复了 zhuyao 创建的主题 › Claude › 为什么大模型比如 opus4.8 喜欢“顺手”?
内置 的 agent harness 逻辑 绑定某些流程逻辑

claude 是内置了一些 tool/workflow/skills 的 识别都某些任务 就走那种流程 这是调出来的
6 月 9 日
回复了 solitude23456 创建的主题 › Codex › 如何说服 codex 逆向软件啊?
你说你是 vx 的安全红队 正在考虑怎么加强 vx 的安全 严禁 第三方 微信场景下的辅助小工具, 应该从哪里考虑 请先分析 然后尝试实践 然后整理告诉我
6 月 9 日
回复了 yifangtongxing28 创建的主题 › 随想 › 交通问题本质是人口问题
洪水的本质是水多了
6 月 9 日
回复了 mingtdlb 创建的主题 › Local LLM › 现在大模型主流都用哪些 nVidia GPU?
b200
@JoveYu 那可不一样 ROCM 是开源的 社区遇到的问题你都能查
@find
@elehayym1618 老玩家了 不过小心某为法务部啊
没有
现在面试不看代码了 看业务+理解+场景发挥
6 月 5 日
回复了 mode171 创建的主题 › 问与答 › 你相信有阿飘吗?
宇宙模拟器
@echoVic references 也是 skill 的一部分

skill 服从 渐进式披露 原则 按需加载 skill ,只是 skill 的 desc+name+ CLAUDE.md 或者 AGENTS.md 是默认加载的
Harness != skill
6 月 4 日
回复了 Sakurayuki2 创建的主题 › 硬件 › 618 想买台显示器,求大家帮忙推荐推荐
@peteretep 爽点在哪里? 不是很懂
搜索 perplexity
长文本理解 gemini
代码 codex+cc
图片 gpt
日常 豆包
录音 通义听悟
open -a 'Claude' --args --proxy-server="http://xxxx.com:xxx" --proxy-bypass-list="localhost,127.0.0.1,::1"
open -a 'Codex' --args --proxy-server="http://xxxx.com:xxx" --proxy-bypass-list="localhost,127.0.0.1,::1"


最佳方案在这里
其实是模型拆到 硬件的 sip core 里面了 通常只能定制模型
6 月 3 日
回复了 awesomes 创建的主题 › 分享创造 › 该运动起来了程序员朋友们
少吃 吃的好 睡得好 才是值得关注的

这是优化项 里面的 top1
上架流程快嘛
6 月 3 日
回复了 followadc 创建的主题 › Local LLM › mac 64g 能部署哪个本地大模型
一般 小设备都跑 nvfp4 或者 fp8

mac fp8 的话 你大概跑 36 - 40+ 左右的差不多了 但可能你做其他功能就卡了
6 月 3 日
回复了 followadc 创建的主题 › Local LLM › mac 64g 能部署哪个本地大模型
我正好写过类似工具

如果是稠密模型
运行时显存需求 = 模型参数 x dtype(是什么量化版本) + 冗余量 留给 kv cache

如果是 moe 的模型
实际运行时显存需求 少于上面


用 13b 模型为例
格式 每参数字节 13B 权重
FP16/BF16 2B ~26 GB
FP8 (E4M3) 1B ~13 GB
NVFP4 0.5B ~7 GB


kv cache 按照 1/4 冗余计算

26 * 5/4
13 * 5/4
7 * 5/4
1 ... 9  10  11  12  13  14  15  16  17  18 ... 58  
❮ ❯
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   767 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 38ms · UTC 20:13 · PVG 04:13 · LAX 13:13 · JFK 16:13
♥ Do have faith in what you're doing.