本地部署的小模型（小于 16G 显存）适合轻任务，哪一个模型比较好用？

有一个 16G 显存的显卡闲置，跑了几个模型，测试过一阵子了。

 $ ollama list
NAME                     ID              SIZE    
llama3.1:latest          46e0c10c039e    4.9 GB
gemma2:latest            ff02c3702f32    5.4 GB
deepseek-coder-v2:16b    63fb193b3a9b    8.9 GB

具体的任务是内容标题生成和翻译。

llama3.1 是 8b 参数，gemmma2 是 9b ，deepseek-coder-v2 是 16b 。

内容标题生成来讲，不是很能对比出差别。因为生成的标题即使有偏差也大差不差。但是对于翻译，需要一定的翻译质量。

对于翻译来讲 deepseek-coder-v2 > gemma2 > llama3.1 。

平时用到的翻译是 Bob 翻译+沉浸式翻译，用的还挺频繁的。

所以大家还有什么小一点的模型推荐跑一跑试一下？主要做一些小任务。