我的笔记本是 T550 4G,32G ，用 llama.ccp 部署了 qwen2.5-coder-7b-instruct-q4_k_m.gguf 跑起来太爽了，做一些普通的文本生成很棒！！！但是上下文 4096 太小了，增加参数好像也不行，不能用于 DSH ，有没有别的办法？外挂 GPU 么，有没有便宜的办法。
我的笔记本是 T550 4G,32G ，用 llama.ccp 部署了 qwen2.5-coder-7b-instruct-q4_k_m.gguf 跑起来太爽了，做一些普通的文本生成很棒！！！但是上下文 4096 太小了，增加参数好像也不行，不能用于 DSH ，有没有别的办法？外挂 GPU 么，有没有便宜的办法。
 |
1
snachx 23h 24m ago
试试新的吧，2.5 应该进故纸堆了
|
 |
2
lancelock 22h 53m ago
这模型也太老了吧
|
 |
3
veni2023 22h 10m ago
现在不是 3.8 了吗
|
 |
4
cowcomic 22h 7m ago
换 qwen3.5-9B ，int4 量化也能跑起来
|
Select Language