使用 Nexa 提供的 SDK 在手机上运行端侧大模型

This topic created in 158 days ago, the information mentioned may be changed or developed.

周末在家闲着没事，编译了一下 Nexa.ai 提供的 Android 项目 demo ，在小米 15 上面跑了一下他们的 OmniNeural-4B ，这是个多模态的大模型，图片识别和声音识别都还可以，中文也能听懂。参数量小，回复速度挺快的，没有详细测试大模型的能力，用英文对话看起来还行，中文对话或者长对话能力明显很弱，有时候会重复前面的对话内容。对端侧大模型感兴趣的可以玩玩这个，大家可以讨论一下端侧大模型现在可以有什么应用场景。

根据他们官方文档，NPU 支持需要高通骁龙 8 Gen 4 以上。

我这边从 HyperOS 的多任务界面看加载大模型以后内存减少了 5G 左右。

1 replies

coefu

Dec 30, 2025

你测试了功耗没？从 daemon <=> UI ，如果续航锐减的话，那就没什么意义。