ReinXD's recent timeline updates ReinXD's recent timeline updates |
ReinXDV2EX member #641437, joined on 2023-08-02 03:50:33 +08:00Today's activity rank 6897 |
ReinXD's recent replies
6h 23m ago Replied to a topic by Rorysky › 程序员 › 不明白为什么很多人用「缓存命中率」作为 agent 的性能评估参数 |
@Retas 这里有个关键问题是如果模型 sft 的训练数据没有针对性优化，这样的操作是会下降模型性能的
8h 13m ago Replied to a topic by Rorysky › 程序员 › 不明白为什么很多人用「缓存命中率」作为 agent 的性能评估参数 |
dpsk 应该是把 system prompt 直接放到每次请求的开头了，这样每次增长的计算实际上只有用户新发的请求，剩下全部可以 prefix cache hit ，导致最后命中率 99%，其实没那么多魔法，不过 dpsk 应该这次在训练 sft 的阶段就对这种 prompt 方式进行优化了
Select Language