V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  BingoXuan  ›  全部回复第 1 页 / 共 159 页
回复总数  3163
1  2  3  4  5  6  7  8  9  10 ... 159  
@midasplus
理论上是的,早上还是没睡醒啊
@XTTX
plus 由 5 小时限制,有充值卡也很憋屈
3 天前
回复了 murongxdb 创建的主题 OpenAI 我 chovy, GPT 20x 的额度是不是砍了
这两天用了 16 亿 Token ,大部分时候都是 sol high/xhigh plan + luna max sub agent ,体感上确实消耗更快
8 月 31 日
回复了 Kakarrot 创建的主题 配件 MacBook Air M5 扩展坞推荐
雷电一转多下行 hub ,走雷电原生 dp 信号
8 月 29 日
回复了 andie 创建的主题 程序员 想看看各位使用 Pi 的姿势
在做一个 web ide (核心是 pi )让团队的硬件工程本地跑个 mcp 服务就可以让 ai 云端生成固件烧录控制硬件加速开发(其实就是硬件版的 lovable )
@lgc931018
我有观察 usage 的,看起来并没有 reset 。刚刚开了 sol high+luna max 的子 agent 讨论了大规模重构方案,我驳回了 2 次才消费了 6%。我的场景是本地长期 2 个处理 repo ,偶尔有 1-2 个 repo 偶尔需要修改,每个 repo 不超过 3 个 thread ,网页版隔离上下文讨论其他方案。我不确定其他不使用 sub2api 同样遇到额度快速消耗的场景是怎么样。btw ,我的账号都是走一个固定 ip 的,虽然是机房 ip ,但是纯净度还 ok 。
我昨天没有收到重置,今天用 luna max 跑了好几个任务,额度还是卡在 72%
@sentinelK
sglang 推荐 nvfp4 量化是 RadixArk/Qwen3.8-27B-NVFP4 版本。unsloth 家的 nvfp4 量化可能还不如自家的 gguf 。NVIDIA 的 3.6 27B 的 nvfp4 量化明显比 unsloth 好得多。qwen3.8 的 kv cache 量化最多只能去到 fp8 ,到目前 nvfp4 的 kv cache 量化各家支持还是半残废。Blackwell 的硬件潜力还没有完全挖掘出来。
等 Qwen3.8 35BA3B 吧。3.8 27B 最大问题不是权重。而是 kv cache 。q8 量化跑满 262k 上下文要 8-9G 显存。开 turbo quant 有损失。即使是 Blackwell 显卡,vllm 和 sglang 都还没支持完整的 nvfp4 kv cache 支持
8 月 11 日
回复了 OBJECTION 创建的主题 健身 中登有多少在健身的...
一三五去游半个小时
8 月 7 日
回复了 netox 创建的主题 分享发现 在线体验 16K token/s 的新大模型部署架构
@cowcomic
deepseek 激活也是 13B 。这时候就是 xilinx 出马了,通过 pcie 重新烧录权重数据。那样 n 张互联就能跑 deepseek v4 flash 0731 了。主要问题是如何把权重数据变成可烧录。
@Hyschtaxjh
六面骰子一样不够随机。参考 cloudflare 办公室的随机数采样
我昨天一天就消耗了 65%了。现在 review 也是用自己部署的 27B 在干。感觉就是逼着人升级 Pro (因为不禁用,我有这个升级想法)
7 月 25 日
回复了 rpish 创建的主题 问与答 技术已死?
以前的技术是不同个体探索得到的知识和经验,现在探索都靠 AI 了,经验都被模型厂吸收了转换到模型中。所以技术更多是,和 AI 协作过程中,个体未知知识是否被消化。
7 月 21 日
回复了 Leon6868 创建的主题 程序员 多端 GUI 真的没有银弹吗
@Leon6868
skill+多模态+playwright 能加速回环。小模型可以用来验证流程和细节提供相关信息,大模型负责实现。
7 月 21 日
回复了 Leon6868 创建的主题 程序员 多端 GUI 真的没有银弹吗
@Leon6868
去年就用 webgl shader 实现了一个实时波形渲染,300 个信号,信号长度 2k ,120fps 点毫无压力。web 反馈回环非常快,AI 很擅长的。如果 AI 就是一个 compiler ,那么任何框架都不重要
R.I.P. 也许写信个 tim cook 更有效,但前提是怎么这台手机是你妻子购入或者所有的
@JimLee0921
完全是过度优化了。fastapi 性能没那么不堪,而且 agent 都是重 io 的。套一层 go 并不会提高性能。反而降低了可观察性。有这个时间应该把 fastapi 的可观察性提高,确认性能瓶颈和找 bug 而不是盲目换语言。如果架构足够清晰,第一点既不是问题。llm 返回的流如何缓存,用户网络抖动断开重连如何恢复等细节都会处理好。换语言不影响架构,尤其现在 LLM 重写有太多成功例子。
1. llm 返回的流数据可以传给任何流,你可以选用 NATS 或者其他消息队列,返回给用户时候变成 SSE
2. agent 生成的东西不应该保存到数据库,而是考虑保存到 S3 这类存储服务
3. 我看完了也没搞清楚 go 部分到底要干嘛?如果本身功能角色不清晰,和任何系统对接都会变成一坨不可名状的东西
1  2  3  4  5  6  7  8  9  10 ... 159  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2810 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 39ms · UTC 12:49 · PVG 20:49 · LAX 05:49 · JFK 08:49
♥ Do have faith in what you're doing.