不是那种跑 30%就开始降性能的那种模型
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
 |
1
xiaomushen 6h 16m ago
压缩一下呗，带着那么多垃圾历史信息没意义
|
 |
2
lynn1su OP @xiaomushen #1 自动压缩感觉会损失很多细节。期待真 2m 上下文模型
|
 |
3
SHIINASAMA 6h 6m ago
我觉得目前这个上下文大小已经比较甜点了，有用的信息提到项目文档或者个人知识库就好
|
 |
4
ktyang 6h 3m ago
1M 的时候不担心 token 消耗量么？ 2M 那更不敢想了
|
 |
6
hrapunzel 5h 56m ago
上下文太多 记忆力稀释怎么办
|
 |
8
getadoggie 5h 12m ago via iPhone
能不能引入一种上下文提炼组件，代替压缩呢？自动判断哪些有价值，哪些没有的那种 我觉得比光加要好
|
 |
9
mingtdlb 5h 8m ago
1M 上下文有些模型都丢信息。支持更大的上下文长度 价值不大，压缩要做好 能提取重要的信息，1M 往上 显存兜不住
|
 |
11
Dream4U 5h 3m ago
稀释问题解决不了，再长也没用
|
 |
13
Rickkkkkkk 3h 28m ago
1m 都不好用现在。
|
 |
14
hrdom 1h 12m ago
1m 上下文相对于 512k 性能已经下降了，可以从一些基准测试里看出来
|
 |
15
PerFectTime 1h 0m ago
得了吧, 现在真 1M 且效果好的模型都没有, 还 2M
|
 |
16
dabbit 56 mins ago
1M context 里有多少是有效 context 我不好说
|
 |
17
fovecifer 46 mins ago
我觉得还是需要人来控制，有的时候表现出来记忆里不够，有的时候又混杂了很多无关的东西。
但是这样会很累，希望以后模型对于上下文处理的更加合理。 |
 |
18
duanxianze 35 mins ago
还是研究研究压缩吧，真出了怕是没人用的起
|
 |
19
leonvxe 19 mins ago
大胆点 100M 上下文 就像当初宽带一样 512K ADSL,现在不也是家家都千八百 M 的
|
Select Language