$V2EX
Solana
Give SOL to Copy Address
使用 SOL 向 Frankcox 打赏,数额会 100% 进入 Frankcox 的钱包。
Web  1 sites indexed in VXNA
44 articles feed address
 Frankcox's recent timeline updates
Frankcox
ONLINE

Frankcox

V2EX member #550058, joined on 2021-07-04 20:41:38 +08:00
Per Frankcox's settings, the topics list is hidden
Deals info, including closed deals, is not hidden
Frankcox's recent replies
@meteora0tkvo 有点好奇,像请教下你是怎么处理 todolist 的,你会给 todo task 分类吗?如果分类是按照日期,项目分类?如果不分类,你如何处理许多的 todo task ,不同的 todo task 重要级 deadline 不同
Aug 31
Replied to a topic by Need4more Local LLM mac 本地部署 llm 不是最佳选择
@Need4more 我知道一个做文生图 lora 训练框架的开发者,因为打标 prompt 涉及萝莉等词语,开发过程中直接被 codex 封号,申诉也无效,这就是云端的问题。

另外,如果你完全不考虑隐私安全敏感内容,只考虑性价比和能力,那肯定是云端强啊,fable 5 ,gpt-5.6 这些顶尖模型压根就不开源,你哪怕弄了个 1T 内存的 mac 也只能跑次等的 deepseek glm 等量化后的模型。

所以这个问题本来就算不上问题,买 mac 跑本地模型的人压根就不会用到需要 fable 5 ,gpt-5.6 sol 极高,性能的模型,人家就是跑一些低等模型,你可以多去 reddit localllm 等逛逛,你就知道 qwen 3.8 27B 这种体量的模型已经是最受欢迎的了。deepseek 这种大型的模型都没几个人步数。

最后,你可能低估了小尺寸模型的能力(我 4070 一直跑 qwen3.6 35B a3b ,这个模型已经能满足我日常 70 %的任务),严重低估了人们对无审核模型的需求(我知道几个搞 ai 色 q 的已经财富自由了)
Aug 31
Replied to a topic by Need4more Local LLM mac 本地部署 llm 不是最佳选择
你把两个问题混杂了。你说的成本问题是云端 vs 本地,而不是 mac 跑 AI 是否是最佳选择(相比于 Linux/Windows + Nvidia 显卡)。


第一个问题算是日常问题了,你要只看经济成本云端自然有优势,但是本地模型配合 huggingface 的各种 jailbreak 破限,能提供完全无审核的内容,R-18,R-18G,极端内容等等。这对一些人来说就是刚需,更不用提其他对隐私安全有要求的企业人员。
另外,很多任务并不需要很大很强的模型,不是所有人都要用 AI 作为 code agent 跑一堆高难任务超大上下文。我现在做文生图的 prompt 扩写,图像反推等都是用 qwen3.5-9B 的模型就能跑,效果还很不错。

第二个问题,mac 称为本地 LLM 的最佳选择是因为 UMA 统一内存架构,Mac 内存价格是金子,那 Nvidia 显存的价格则是振金,而本地跑 LLM 的一个很大问题就是能不能把模型全塞到显存里。所以这么一看 Mac 相比于买显卡拼集群,反而是一个比较有性价比的选择。
我觉得吧,AI 生图这种,官方已经提供足够的支持了,你本身也是调他们的服务。普通人开个 plus 偶尔跑跑就够了。对于付费用户,要么干正经活,电商之类的,这种除非你能提供比官方更便宜的服务,否则人家不可能来付费用。要么干不正经活,这种灰色黄色地带,gpt-image-2 根本做不了,你肉身在国内也不敢弄哪些 krea2 等自建服务。所以我一直不清楚这种服务的定位。。。
Aug 24
Replied to a topic by w568w 程序员 你还在用 Vim 吗?你为什么用它?
你当程序员或多或少会有 ssh 到一些啥都没有的服务器上,想要编辑个脚本要么 vi ,要么 vim
@rpish r/China 是一群纯键政魔怔人 sub ,这个应该去 r/AskChinese r/Chinalife 之类的
我之前是用父 page 作为文件夹,在父 page 中创建子 page 的入口,然后用 database 作为看板入口。
@ykrank 白左一开始的意思不是你说的,指的就是白人左派,比如寒春阳早杨和平这种亲老中的白人左翼。发明这个词的是极右翼满洲国大皇帝李硕。。。
Aug 1
Replied to a topic by Rayvonme 问与答 有性价比高的模型 api 推荐吗?
你要是有个显存 16G 以上的显卡,可以本地跑个 qwen3.5-35b-a3b 之类的开源权重模型,用 llama.cpp 跑,只要交个电费就行,还不会有被审核的问题。
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2790 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 12:58 · PVG 20:58 · LAX 05:58 · JFK 08:58
♥ Do have faith in what you're doing.