ReinXD's recent timeline updates
ReinXD

ReinXD

V2EX member #641437, joined on 2023-08-02 03:50:33 +08:00
Today's activity rank 5756
ReinXD's recent replies
@NizumaEiji 基本大厂内部编程代码 agent 都是 glm ,用户会用脚投票的
@Retas 这里有个关键问题是如果模型 sft 的训练数据没有针对性优化,这样的操作是会下降模型性能的
dpsk 应该是把 system prompt 直接放到每次请求的开头了,这样每次增长的计算实际上只有用户新发的请求,剩下全部可以 prefix cache hit ,导致最后命中率 99%,其实没那么多魔法,不过 dpsk 应该这次在训练 sft 的阶段就对这种 prompt 方式进行优化了
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2743 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 9ms · UTC 13:04 · PVG 21:04 · LAX 06:04 · JFK 09:04
♥ Do have faith in what you're doing.