前文： https://v2ex.com/t/1205344
上次聊的是价格和安全性，这次说说使用体验
本文（及前文）的中转特指各种类型的廉价中转，不包括 openrouter / cloudflare ai gateway 之类的商业中转
自 GPT 5.6 发布以后 Pro 20x 已经不够我用了，就开始尝试了一些中转用作套餐耗尽时的补充，体验就两个字：糟糕
问题一：速度
首先最大的问题就是速度，GPT 5.6 Sol 官方的平均 TTFT 大概是在 3-4s ，但是中转的往往在这里能慢上数倍，我尝试了几个中转，普遍的平均 TTFT 都能达到 10s 以上，甚至有遇到过一些请求偶尔能达到 2min 之久
对于 Coding 会话，一个小任务的 prompt 可能至少都有个 20 轮左右的工具调用，单纯因为中转的开销就达到了数分钟 —— 并且事实上在我的体验中，单纯的平均数值没有太大的意义，反而是长尾延迟会更大的放大中转带来的时间成本，可能一个官方 API 10min 就能完成的任务中转要半小时甚至更久
而且比较可笑的是，某些中转「可以使用 /fast 」—— 参照官方收取了 2.5x 的价格，但其实并没有达到 Fast 的效果 —— 因为中转的场景中真正的时间成本主要是中转本身带来的而不是模型推理
至于速度慢的原因，我猜测一方面可能是中转的带宽或硬件资源在高峰期不够，另一方面则是请求可能遇到号池在疯狂换号的情况
问题二：缓存命中率
OpenAI 的缓存读的费用是 0.1x 、缓存写的费用是 1.25x ，我们用自己的号时可以充分享受到缓存带来的价格优势（或许也有速度优势），但是中转背后是若干个官方号组成的号池，你的请求会被路由到某一个号上，可是缓存跨号是无效的，而中转可以说换号导致缓存失效是常态、甚至是必然，而这直接导致本来可以 0.1x 的请求计费变成了 1.25x ，中间的费用差了 12 倍
最不幸的是，号池换号十分频繁，特别是低价的中转使用的更是 Plus / Team 号池，一个号供一个人使用尚且不够，更何况多人共享； OpenAI 的缓存有效期是 24h ，在这 24h 内本该可以利用缓存却变成了重建缓存打到个三五次可能开销就翻倍了
问题三：稳定性
这里的稳定性我们不谈中转本身没号了之类的情况（事实上大型中转应该也不会遇到这种情况），主要是说 Agent 稳定的完成一个任务的可能。
Codex 对于各种官方错误都做了很好的处理，除了真的不能恢复的（安全错误、用量耗尽）其它都会有自动重试机制，基本可以保证一个任务一定可以稳定的完成。
但中转通常没有复刻官方的错误码，这基本直接导致了一些中转的错误，或者中转到 OpenAI 服务器的临时性错误，变成了 Codex 认为不可恢复的错误而导致任务执行一半停止了，且这个停止有时还有个报错，有时看起来就是「任务完成了停了」（但事实上并没有）
包括 Codex 内部其实有个最大并发任务数的限制，这在个人账户里几乎是不可能遇到的，但是中转就有不小的可能遇到，且一旦遇到又是一个 Codex 的不可恢复错误，任务也会终止
1
Select Language