我在 Codex CLI 上做了 280+ 次 GPT-5.6 Sol 测试。当前版本似乎仍有会增加 token 消耗的问题。
在多数基准中,GPT-5.6 Sol 的成本效益优于 GPT-5.5 。以 DeepSWE 为例:5.5 High 平均每任务 5.1 美元,5.6 Sol High 为 3.5 美元;但在 Codex CLI 0.144.1 ,我测到 5.6 Sol High 反而比 5.5 High 高约 21%。
可能原因是:5.5 明确使用 multi_tool_use.parallel,一轮可发出多个顶层工具调用; 5.6 多以单一顶层 exec 编排,因此每次 LLM 调用运行的命令更少( 0.97 vs 2.5 ),同一任务的轮次却约为 1.84 倍。5.6 Sol High 的花费中约 66.5% 是缓存输入 token 。
我也测试了 Ponytail 、Caveman 、RTK 等省 token 插件,几乎没有降低消耗。真正有效的是在不损失结果的前提下减少 LLM 轮次。
完整报告: https://turaai.net/docs#benchmark-current-test-set-record