 |
LiteChat 轻量级本地大模型聊天 WebUI，支持 vLLM zsj1029 • May 6 • Lastly replied by Orangeee | 7 |
 |
能一起给本地部署的开源模型做个适配的 coding agent 吗？我憋了口气 KaiWuBOSS • May 8 • Lastly replied by KaiWuBOSS | 115 |
 |
github 看到一个项目， 3090 跑 27B， 129tps，最高 207tps stefwoo • May 6 • Lastly replied by jiaorong | 10 |
 |
请问各位大神，在隔离环境中，有本地 qwen 大模型，有没什么解决方案，做本地的知识库的方案，类似谷歌那个 notebooklm ，也勉强可以？
ken2025 PRO |
5 |
 |
私有化部署大模型的“终点”是 Mac 还是 Nvidia？ babymonster • May 2 • Lastly replied by bobguo | 29 |
 |
自己做了一款在线 GPU 推理速度计算器 · TPS Calculator diudiuu • May 7 • Lastly replied by diudiuu | 12 |
|
我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 KaiWuBOSS • May 6 • Lastly replied by kevan | 107 |
 |
有一台 16 寸 m1max 64g+1T 满 GPU 的 MacBook Pro 适合部署哪个本地模型 alangz • May 2 • Lastly replied by davidqw | 11 |
 |
想在本地部署 OCR 服务，解析美团的外卖订单截图，求推荐一个好用的 OCR 模型 EchoPrince • Jun 10 • Lastly replied by xiaxichen | 49 |
 |
用 antirez 的 llama.cpp fork 把 DeepSeek v4 Flash 在本地跑起来了
Livid PRO |
15 |
|
qwen3.6 27b 本地编码测试 zsj1029 • May 2 • Lastly replied by zsj1029 | 62 |
|
全球本地部署开发者们一起，打造一个真正属于开源社区的 Coding Agent 了 KaiWuBOSS • Apr 29 • Lastly replied by coefu | 29 |
 |
xllm 真的比 vllm+plugin 性能好么？ joeue404 • Apr 27 |
 |
各位推荐一个 32G Macbook air M5 可以跑的 moe 模型 Hermitist • Apr 26 • Lastly replied by Hermitist | 19 |
 |
请教一个关于模型训练主机配置的问题 jamme • Apr 26 • Lastly replied by zhoukevin233 | 12 |
 |
大伙有想过二次训练吗？ archxm • Apr 25 • Lastly replied by mingtdlb | 9 |
 |
多台 GPU 之间怎么组网互联？ mingtdlb • 14 days ago • Lastly replied by mingtdlb | 31 |
 |
用 DGX Spark 做这些事情，是否能力合适/足够，有佬能解答吗?(估算也行) qazwsxkevin • Apr 25 • Lastly replied by diudiuu | 6 |
 |
有没有简单版的 new-api 项目 novaren • Apr 28 • Lastly replied by wukaige | 7 |
Select Language