 |
zzutmebwdV2EX member #62082, joined on 2014-05-07 10:29:14 +08:00Today's activity rank 6068 |
 |
Per zzutmebwd's settings, the topics list is only visible after you sign in |
Deals info, including closed deals, is not hidden
zzutmebwd's recent replies
14h 53m ago Replied to a topic by yidinghe › 程序员 › （2026-08-27）最近集中发布的高性价比 flash 模型 |
@levn 在我看来能不能叫 flash 看推理速度就行了，超过 100tps 的大模型都可以叫 flash 。推理速度主要看激活量的，qwen 3.8 flash next 激活量只有 6b ，在单张 pro6000 上预填充破万，解码 150tps ，还有很大优化空间，目测最终能破 200tps ，确实很稀疏推理很快。
14h 58m ago Replied to a topic by sentinelK › Local LLM › mac m5 ultra 上线中国官网。1.2T 显存带宽， 256GB 版本 8.6 万 |
搜一下 dgx spark 双机并联跑 ds4f 的数据，比这个快不少。
1 day ago Replied to a topic by SSang › 程序员 › 32G 显存 Qwen3.8-27B-GGUF 配置分享 |
@BingoW 我的升级路线是 mi50 32g x2 → 2080ti 22g x2 → 4080s 32G x2 → pro6000 96G 。感受就是欲望永无止境。4080s 32g 跑 27b 还是慢，预填充两三千，解码六七十。换 pro6000 感觉就是翻倍多一点，显存用不完。
1 day ago Replied to a topic by SSang › 程序员 › 32G 显存 Qwen3.8-27B-GGUF 配置分享 |
今晚要发布高度稀疏的 3.8 flash next 了，源神启动！
1 day ago Replied to a topic by changnet › 生活 › 医疗病患相关，纯吐槽发泄情绪 |
我父亲在 2024 年职工父母体检中检出胸腺结节，增强 CT 基本确诊，做手术切掉了，不幸中的万幸了。
1 day ago Replied to a topic by creafTi › Claude › Claude 是真是👍，四天被封俩号，不想折腾了 |
codex 道德感特别强，稍微有点擦边的他都义正言辞的拒绝我
8 days ago Replied to a topic by 1258 › 程序员 › qwen3.8 27B 被低估了 |
另外给个速度参考，官方 fp8 权重+fp8 kv ，vllm 0.27 ，mtp=3 ，50k 上下文长度下 prefill 5000tps decode 100tps ，其他配置就默认，基本可用，只是思考长度过长。我的显卡为 pro6000 ，如果想部署官方 fp8 至少需要两张 32G 的卡，性价比最高的应该是 4080s 32g x2 ，想好用就 5090 32g x2 ，只有 32g 显存的话就选 nvfp4 第三方量化版本，显存可能有点紧张。
mac 老老实实跑 a3b ，没必要浪费时间。
mac 老老实实跑 a3b ，没必要浪费时间。
8 days ago Replied to a topic by 1258 › 程序员 › qwen3.8 27B 被低估了 |
他只是 agent 能力强，知识库比较匮乏的，毕竟参数量小，穿越还是带 glm5.2 比较稳
17 days ago Replied to a topic by liqinliqin › 分享创造 › 昨天一天用 Codex 5.6 Sol 搞定的，基于 ESP32-C5 WiFi CSI 睡眠监测，经过一夜的睡眠监测，确实很准 |
@aec4d 好问题！我也想知道
Select Language