Home Sign Up Sign In
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  wwhc  ›  全部回复第 1 页 / 共 30 页
回复总数  594
1  2  3  4  5  6  7  8  9  10 ... 30  
❮ ❯
6 天前
回复了 florentino 创建的主题 › 问与答 › 为什么说罗永浩想要造一台老年人友好电视,注定不成功
很简单，装个室外天线就行了
8 月 31 日
回复了 Need4more 创建的主题 › Local LLM › mac 本地部署 llm 不是最佳选择
云 API 的一个致命问题是稳定性及可靠性无法保证，保不准什么时候就降智了,根据这个 API 之前智力水准订制的产品的产出将可能出现不可预知的变化；或者如果企业订购的某一个 API 因为厂商模型升级而废弃，企业根据这个 API 订制的产品将可能需要根据新 API 中的模型的不同特性而重构。本地部署完全没有这个问题
8 月 29 日
回复了 andie 创建的主题 › 程序员 › 想看看各位使用 Pi 的姿势
用 Pi 写个 web 终端很简单吧
8 月 24 日
回复了 foryou2023 创建的主题 › 问与答 › 如果 2 - 3 万人民币设备，部署本地 dsv4flash ， token 基本够用，你是会选择本地部署还是接云 api？
Deepseek v4 flash 能用的起点是两块 RTX PRO 6000
8 月 24 日
回复了 xJogger 创建的主题 › Claude › 最近 ChatGPT 降智严重，想订 Claude Pro，咨询下现在 Claude 封号严重么？
建议自建本地 llama.cpp 服务器运行 Deepseek/Qwen ，绝对不会发生降智的情况
8 月 23 日
回复了 luckyjoe 创建的主题 › 问与答 › 扫拖机器人 哪款比较好？
看来还是石头老当益壮，追觅在营销上已经望风而逃。科沃斯是把钱都花在研发上，没钱请网军?
8 月 22 日
回复了 luckyjoe 创建的主题 › 问与答 › 扫拖机器人 哪款比较好？
科沃斯好像是老大？销量排第一，但原先石头的网军最多，追觅在营销方面是后起之秀，去年起超越石头了，可惜最近出了严重的负面新闻
8 月 19 日
回复了 BingoW 创建的主题 › Local LLM › 想本地化最小成本部署 qwen3.8 27b 求个配置建议
@clemente 请看我的上条回复
8 月 19 日
回复了 BingoW 创建的主题 › Local LLM › 想本地化最小成本部署 qwen3.8 27b 求个配置建议
基本上主流开源 agent 都适配 llama.cpp 了。pi+llama.cpp 很好用
8 月 18 日
回复了 BingoW 创建的主题 › Local LLM › 想本地化最小成本部署 qwen3.8 27b 求个配置建议
单卡 24GB GPU + llama.cpp + Qwen3.8-27B-UD-Q4_K_XL.gguf 可以上到 100K 的上下文，推理质量优于同 4 位量化的 vLLM 配置
8 月 18 日
回复了 BingoW 创建的主题 › Local LLM › 想本地化最小成本部署 qwen3.8 27b 求个配置建议
建议 Linux + 32GB VRAM GPU + Qwen3.8-27B-UD-Q5_K_XL.gguf + llama.cpp ，可以上到 200k 的上下文。不建议用 vllm ，只能上到 4 位量化，推理质量显著劣于 llama.cpp 的 Q5 量化
8 月 18 日
回复了 1258 创建的主题 › 程序员 › qwen3.8 27B 被低估了
在我这测试 Qwen3.8 27B 智商比 DeepSeek v4 flash 0731 高，DeepSeek v4 flash 0731 的智力水平在 Qwen3.8 27B 和 Qwen3.6 27B/35B 之间
8 月 14 日
回复了 majuzhang 创建的主题 › Local LLM › 公司本地部署开源模型
1 到 2 张 RTX 6000 + Qwen3.6/3.8 27B + llama.cpp 应该够你们公司用了，不建议用 vLLM ，推理速度可能快些，但输出质量不如 llama.cpp
8 月 8 日
回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？
@clemente 我建议你实际部署以体验真实的情况
8 月 7 日
回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？
@clemente DeppSeek 开源的是 167GB 的版本，仓库里标明了大小
DeepSeek-V4-Flash-0731
167 GB
https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731/tree/main
8 月 7 日
回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？
@clemente DeepSeek 开源的是 4B 版本，也就 167GB 左右，你可到 huggingface 计算具体大小
8 月 6 日
回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？
两块 RTX PRO 6000 ，配置 llama.cpp 用于提供推理服务，满血 v4 flash 也就 160GB 左右。就算是单 RTX 5090 ，也够个人用，输出也可以达到 10-20t/s
6 月 19 日
回复了 frankyzf 创建的主题 › Local LLM › 有支持 6000 Ada 使用 deepseek v4 flash 推理 的框架吗
等 llama.cpp 合并 Deepseek v4 的补丁到主线吧
6 月 6 日
回复了 plko345 创建的主题 › Windows › windows 终将成为最好的 Linux
微软的前途在于把 Windows 变成 Linux 的发行版之一
1  2  3  4  5  6  7  8  9  10 ... 30  
❮ ❯
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3281 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 31ms · UTC 11:27 · PVG 19:27 · LAX 04:27 · JFK 07:27
♥ Do have faith in what you're doing.