heimoshuiyu's recent timeline updates

heimoshuiyu

V2EX member #456629, joined on 2019-12-01 14:35:05 +08:00

Today's activity rank 5853

heimoshuiyu 提问技术话题好玩工作信息交易信息城市相关

「缓存命中率」是个伪指标，应该看未命中的缓存

分享创造 • heimoshuiyu • Jun 28 • Lastly replied by heimoshuiyu

用多模态大模型来做语音输入，效果碾压 typeless

输入法 • heimoshuiyu • May 27

你知道你的 coding agent 的提示词里都有什么吗

程序员 • heimoshuiyu • Sep 26, 2025

vibe coding 一点也不 vibe

程序员 • heimoshuiyu • Sep 2, 2025 • Lastly replied by heimoshuiyu

用视觉大语言模型检索表情包

分享创造 • heimoshuiyu • Aug 19, 2025 • Lastly replied by heimoshuiyu

MCP 协议现在是一坨💩

程序员 • heimoshuiyu • Aug 23, 2025 • Lastly replied by antipro

偶尔有转录和翻译字幕的需求，于是写了个使用 ffmpeg(wasm) + whisper 语音转文字 + 大模型翻译字幕的 *网页工具

分享创造 • heimoshuiyu • Jun 23, 2025 • Lastly replied by 340746

买了两年的 4060ti 觉得 av1 编码器很值

分享发现 • heimoshuiyu • Jul 17, 2025 • Lastly replied by shuaishuaide

自建 PC 端的语音输入工具

分享创造 • heimoshuiyu • Dec 21, 2024 • Lastly replied by heimoshuiyu

» More topics by heimoshuiyu

heimoshuiyu's recent replies

Jun 28

Replied to a topic by heimoshuiyu › 分享创造 › 「缓存命中率」是个伪指标，应该看未命中的缓存

@JackalZhao 我认为 “输出侧 tokens” 属于本应缓存命中的部分，而多数 provider 没缓存。关注缓存命中率的话你看不出这个问题，看未命中 tokens 就能发现这个问题，如我图所示，每一次请求的未命中 tokens 都大于上一次请求的输出 tokens 。

另外，假如某个 provider 缓存临时故障，缓存命中率只会下降几个点，被使用习惯的噪声淹没。而未命中缓存指标会有一个非常显眼的凸起

Jun 27

Replied to a topic by heimoshuiyu › 分享创造 › 「缓存命中率」是个伪指标，应该看未命中的缓存

@winnerczwx 我指 gpt5.5 0.3% 是输出侧 token 存在缓存的概率。一次 API 调用包括输入 + 输出两个部分，调用完成后，deepseek 会将输入 + 输出缓存起来，而 gpt 只缓存到输入。因此用户实际上为输出 token 多付了一份输入未命中的钱。

92.7% 这个数值很难说明什么。平时使用的平均会话上下文偏长，这个数值很容易就能刷高。这也是我建议不要使用「缓存命中率」的原因。另外，ccswitch 存在消息重排序破坏缓存的草台 bug github.com/farion1231/cc-switch/issues/3934

Jun 24

Replied to a topic by maomaolkd › 问与答 › 天塌了，在工位眼巴巴的看着家里电脑离线

好奇为啥无法使用有线连接？

Jun 20

Replied to a topic by woodyang › 程序员 › 作为程序员，大家每天使用 ai token 的数量大概是多少，是 token 使用越多，就越善于用 ai 工具吗

应该看 prompt 次数，token 数容易受到上下文长度的影响

May 8

Replied to a topic by LeviAkerman › 程序员 › openCode go + omo 使用效果一般，是我的姿势不对吗？

omo 就是垃圾，异步 subagent 简直是瞎搞。很难想像我都烧几百 M tokens 了你还给我用字符串匹配的方式来做意图识别。原本一句话 -> grep -> read -> edit -> bash test 50k 上下文内就能改好的事情，硬生生开 4 个 subagent 上下文干到 150k ，我怀疑觉得 omo 好用的人根本没看 agent 的上下文里被 omo 塞了什么构思

May 3

Replied to a topic by sommio › 问与答 › 哪些 AI 网关适配 DeepSeek V4 的 reasoning_content 回传？

@sommio 因为有些用户的 agent 客户端可能丢弃空思考块，用了 cc-switch 这玩意也丢思考块，不知道其他工具修了没。

May 2

Replied to a topic by sommio › 问与答 › 哪些 AI 网关适配 DeepSeek V4 的 reasoning_content 回传？

https://github.com/QuantumNous/new-api/pull/4520/changes

May 2

Replied to a topic by sommio › 问与答 › 哪些 AI 网关适配 DeepSeek V4 的 reasoning_content 回传？

newapi 适配了呀

May 1

Replied to a topic by Soulxe2v › 问与答 › 除了沉浸式翻译，有什么别的浏览器字幕翻译扩展能自接 api 的

kiss translator

Apr 28

Replied to a topic by EternalHeart › 问与答 › 有没有比较好的 agent 开发的学习社区、资料、教程推荐？

最好的学习资源是优秀项目的源代码

» More replies by heimoshuiyu