因为特殊需求, 需要离线查代码相关资料.
或者请问有这方面的排行榜 /测试表吗
或者请问有这方面的排行榜 /测试表吗
This topic created in 1102 days ago, the information mentioned may be changed or developed.
 |
1
murmur Jun 22, 2023  1
8g 的模型除了画图都是玩具，基本没多长的会话长度，想真的用还得整个 o22g 的魔改版
|
 |
2
jr55475f112iz2tu Jun 22, 2023 1
本地
8G 显存 这两点就决定了当前不会有可用的 |
 |
3
rogerer Jun 23, 2023 1
好奇是什么资料查询需要用到 AI 模型
|
 |
4
locoz Jun 23, 2023 via Android 1
已经测试过了，目前能在消费级 GPU 上运行的开源模型，没有任何一个在代码能力方面达到可用水平的。
|
 |
5
lithiumii Jun 23, 2023 via Android 1
|
 |
6
yanyuechuixue Jun 23, 2023
借楼问下，24G 的话有什么模型可以跑呀？
|
 |
7
swulling Jun 23, 2023 via iPhone
@yanyuechuixue 24G 显存，可以跑 40B 参数模型的 4bit 量化版本。
|
|
8
yanyuechuixue Jun 23, 2023
@swulling 谢谢大佬！请教一下，40B 的 4bit 量化和 7B 的无量化哪个性能好一些呀？
|
|
10
swulling Jun 23, 2023 via iPhone
@yanyuechuixue 那肯定是大参数好
|
Select Language