前情提要：开发了一款轻量养车记账软件，欢迎油车电车高端人士体验（ 7 天前发的上篇）
这 7 天更新了什么
一句话：把「 AI 帮你记」背后的模型，从手机上跑一个 2.33GB 的大模型，换成了自己训练的 4.5MB 小模型 lingxi （灵犀） 0.1.0，纯 Dart 推理、无任何原生依赖。
- 默认识别档位已切到
lingxi-0.1.0（下载体积从 GB 级墙降到 4.5MB ，MB 级不再强制 Wi-Fi ） - 支持一句话记多笔：「昨天加油 300 。今天洗车 30 。」→ 自动拆成两条草稿，日期各自正确
- AI 草稿页支持增删改、批量落库、低置信度字段标记「请核对」
- 加了识别反馈（准/不准），真实语料从 55 条扩到 390 条，并修了一批评测集卫生问题
- 契约升到 v2 （全角句号从"小数点"里放出来，成为句子边界），模型零重训直接受益
为什么不用大模型
上篇评论区有人担心「端侧 AI 会让人变傻」，但其实更尴尬的是技术账：让一个通用 LLM 做槽位抽取，等于让它承担本该由规则承担的活——中文数字换算、元→分乘 100 、相对日期推算、句中多数字消歧、备注改写。
于是引入两类最难防的错：金额量级错误（×100 出错，7 元记成 700 元，用户会漏过去）和备注幻觉（编造原文不存在的文本，污染账本）。而且抽取任务真正承载的决策信息只有约 3 bit ，LLM 是按语言建模约 45 bit 造的，纯粹浪费容量。
所以我换了个思路：候选枚举 → 模型选择 → 规则解引用。
"呃，昨天在壳牌那儿，95 的加了 42 升，367 块 8"
① 枚举 把所有片段编号，并顺手把计算全做完：
N1=42 升(42.0) N2=367 块 8(=36780 分) D0=昨天(=设备当天-1)
② 标记 ⟨N1⟩42 升 ⟨N2⟩367 块 8
③ 模型 一次前向：指出 N2 是金额、N1 是升数、D0 是日期、类别=加油
④ 解引用 按编号取回算好的值 → 草稿
模型从头到尾没做过一次算术、没做过一次日期换算、没写过一个原文不存在的字。中文数字、小数、心算、自我改口、多数字消歧、相对日期这六类难题，从"生成/计算"坍缩成了"选择"，容量需求直接掉两个数量级，且结构上不可能幻觉——它只能指认候选。
lingxi 0.1.0 本身
| 项 | 值 |
|---|---|
| 参数量 | 4.42M （ 4 层 × 256 宽编码器，RoPE + SwiGLU + RMSNorm ，全网络无 bias ） |
| 产物 | slot.ptw 4.49MB（ int8 逐行量化；加载反量化为 fp32 ，常驻内存约 18MB ） |
| 运行时 | 纯 Dart，无原生库、无新依赖；常驻 isolate ，Android/iOS/macOS/Windows 通吃 |
| 推理时延 | p50 ~18ms / p90 ~48ms （ M4 Pro, JIT 实测； AOT 更快，300ms 预算内） |
| 训练 | 发布版 3000 步，CPU 上约 4 分钟（ 242s ）训完 |
评测（这是我最想吹也最想交代的部分）：
- 金标准集 320 条：**100%**（纯规则基线 95.9%）
- 真实语料 390 条：90.3%（注意：这个数字是在语料从 55 扩到 390 之后重测的，旧 55 条桥接子集仍是 94.5% 纹丝不动——分数下降是标尺变诚实，不是模型退化）
- 未见说法切片：**54.5%**，规则基线只有 27.3% ← 这 27pp 就是模型存在的全部理由
- 拒答召回：**93.2%**（拿不准就拒绝，不硬猜）
- Python 训练侧与 Dart 端侧：数百条端到端决策完全一致，logits 误差 < 1e-3
一个反直觉的结论来自容量扫参：精度和参数量几乎无关——630K 参数金标准已 100%，14.5M 无任何可辨识提升，瓶颈是数据与词汇覆盖而不是模型大小。当务之急是把评测集做大，而不是把模型做大。
训练数据怎么来的？模板族合成 + 用 qwen3:14b 当"教师"只借它的词汇多样性（一次问 30 种说法：「给车洗了个澡」「掏了过路费」「补点电」……），模式引擎再乘上槽位空间生成十万级样本；评测诚信纪律是生成的说法与评测集任何文本重合一律丢弃。整个训练链路、契约、测试向量都在 pitstop-ml/ 工作区，权重发布到 HuggingFace ，有防回归门禁。
这周踩的坑（省略一万字版）
- 真实语料只有 55 条时，模型和 0.75 vs 1.00 的差别都是自欺，先把评测集做大再谈调模型；
- 全角句号曾被归一化成小数点，导致分句器刻意躲着句号走——把它从映射表放出来当句子边界后，「昨天加油 300 。今天洗车 30 。」自然就对了；
- 纯 Dart 没有 int8 SIMD ，int8 只用来存（省下载），计算仍走 fp32——下载体积和计算精度就此解耦。
App 还是那款不上应用商店的养车记账（本地单机 / 在线共享双模式，多车、固定费用、统计都有），现在多了个 4.5MB 的 AI 帮你记。下载：https://pitstops.top
模型仓库：https://huggingface.co/XiaoDaZhen/pitstop-lingxi-0.1.0（ slot.ptw ，4.49MB ）
有任何想问的尽管问，我很乐意展开聊。
2
Select Language