我每个都用了下
我看都能使用 plugin , 都有 skill 。 如果这些都是规范的,那么剩下的无非就是比拼模型的能力了。
ai for coding 是最基础、最重要的能力,主要来自于模型本身的能力。 那么都能接入自定义模型,在排除模型能力的情况下, 这些工具好像没有太大差别, 除了 hermes 具备自学习 skill 的能力外,其他方面我没理解到有本质区别, 请大佬指点。
我每个都用了下
我看都能使用 plugin , 都有 skill 。 如果这些都是规范的,那么剩下的无非就是比拼模型的能力了。
ai for coding 是最基础、最重要的能力,主要来自于模型本身的能力。 那么都能接入自定义模型,在排除模型能力的情况下, 这些工具好像没有太大差别, 除了 hermes 具备自学习 skill 的能力外,其他方面我没理解到有本质区别, 请大佬指点。
1
astonsun 5 days ago
问问 ai
|
2
tommyZZM 5 days ago
应该还是 harness 的编排和设计重要,再好的模型,在不同的 harness 下对结果存在差别
(结果,和中途的消耗量都有差别) 随着任务量大小会更明显 如果 harness 一碗水端平的情况下才能对比模型 |
3
dazhiqian 2h 40m ago
2 楼说的 harness ,可以拿一个真实任务对比,比看支持多少个 skill 容易看出差别。
比如同一个模型、同一份需求,让它改一个已有项目:会不会先读约定,改完有没有真的跑测试,失败后能否接着处理,最后你还要接手多少步。除了 token 和耗时,也记一下人工纠正了几次。工具列表一样,不代表这些过程一样。 利益相关,我参与 Talos 的推广。我们更偏桌面上的完整任务:例如把几份 PDF 和表格整理成一份可交付的分析报告,或者定时收集资料。这里的区别不只是模型回答,而是文件能不能处理、结果能不能直接交付。Talos 支持托管模型和接自己的账号或密钥,可以固定同一个模型来试。 如果只做代码补全,几款工具的差距可能没那么明显。挑一件你每周都要做、最烦收尾的活,实际跑一遍,哪款少让你兜底,比单看功能表有用。 |