尝试写了一个自进化的基建 Gear - General Evolution ARchitecture ，只要给定一个 benchmark ，Gear 就会自动优化出一套最适合当前场景的 harness 。
当前在 automation bench 的 marketing 任务上，经过 Gear 优化的 DSH + Luna 实现了 88% 的目标完成率超过了 Astra + Codex 的 84%，并且单任务成本降低了 95%。
仓库地址在 https://github.com/rsi-gear/gear
求大家提提意见，点点 star 。
 |
1
lancevps 7h 17m ago
跑一下 Terminal-Bench 4 ，我对这个评测比较相信
|
 |
2
tangyehui OP @lancevps tb 的任务有点太长了，自己的 token 烧不动了，欢迎 contribute 实验结果。在 tb 2.1 上是 Luna + Gear-tuned DSH 84.26%，Astra + Codex 87.4%, Fable + ClaudeCode 83.8%。
|
 |
3
sampeng 5h 57m ago
还有一点。时间。。astra 5 分钟做完。luna 要花 15 分钟就不能忍了
|
 |
4
nightwind 5h 44m ago
有点意思
|
|
5
tangyehui OP @sampeng 感谢建议！下面是对 automation 任务的统计结果。
每题耗时 ｜ Luna max ｜ Astra max Agent 平均运行时间 ｜ 5 分 51 秒 ｜ 5 分 39 秒 Agent 运行中位数 ｜ 5 分 23 秒 ｜ 5 分 28 秒 含环境准备、执行和评分的平均时间 ｜ 7 分 07 秒 ｜ 8 分 30 秒 |
Select Language