本地显存 48g 4090d,llm 为 fp8 量化版 qwen36.-27b
工作流是 yt-dlp--funasr---获取文案--qwen 提取观点 ---langgraph 调用 qwen 多 agent 对话---crawl4ai 搜索补充---生成文案龙骨---qwen 分段生成。
最终文案丢给 gpt ，无论怎么调提示词或流程，基本都是说废话太多，前面提到的观点后面重复解释之类。 而且调试也费时。 最后换成在线 api ，一切解决了。
本地模型可以用来生/编辑图、生视频、背景音等，短文可以，长篇还是算了，本地 llm 注意力机制的能力就决定了不能胜任。
 |
1
laonger 1 day ago
3.6 很老了，为啥不直接用 3.8 ？
|
 |
2
jony83 OP @laonger 2 个多月的感受。3.8 也一个样，只要传入的参数多或要求多，注意力机制能力就有可能忽略一些要求。
就像一条流水线上并行处理能力，可能你提了 10 条要求，一条流水线过去，他只处理了 8 条，使用 8 条的结果拼装，自然满足不了你的需求。 |
|
3
laonger 1 day ago
感觉收到量化的影响很大
|
 |
4
frayesshi1 PRO 是不是注意力机制比较耗资源？ Gemma 也是一样的，在一个对话里面对图片数量或者视频长度有要求的。
|
|
5
jony83 OP 跟训练和 transformer 模型有关。就像人脑只焦距眼球焦距的地方，其他次要的都是模糊的，在线模型设计多层 transformer 去解决强弱相关性问题，但是一次提问带的参数过多了还是无法满足，可以使用分层设计去解决参数过多的问题，但是因为 llm 是无状态的，有些是不能分层能解决的因为必须带有之前的全部或部分参数进去，分层不能解决就只能考虑换设计思路去解决自己需求。
|
Select Language