目的：在一个垂直领域内，通过输入自然语言判断用户的意图。意图可以被枚举出来，自然语言在一个范围内。
要求：性能希望能在 100ms 以内，越快越好
目前调研 RASA 中，不知道各位大佬有别的建议吗
要求：性能希望能在 100ms 以内，越快越好
目前调研 RASA 中，不知道各位大佬有别的建议吗
This topic created in 540 days ago, the information mentioned may be changed or developed.
 |
1
mumbler Jan 7, 2025  1
用 grop 的大模型 API
|
 |
2
ggbond2233 Jan 7, 2025 1
哈哈哈哈,这题我会 但是 100ms 国内目前做不到
|
 |
3
wvv8oo OP |
|
4
mumbler Jan 7, 2025
@wvv8oo #3 自己部署 100 毫秒不可能，要尽量快就只能用 3B 以下的小模型，4090 去跑，推荐 gemma2 2B 模型，完成分类还是够用了
|
|
5
ggbond2233 Jan 7, 2025
用小模型,分类可以做,自己服务器很吃力的
就用之前各家对话平台的模型 都可以实现 |
Select Language