openai stream 模式如何自行统计 token

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 1119 days ago, the information mentioned may be changed or developed.

RT

如果不是 stream 模式会返回 token count ，但是用 stream 模式就没返回了。不知道该怎么计算自己大致的使用量。

2 replies • 2023-04-05 13:37:38 +08:00

superares

Apr 5, 2023 via iPhone

搜 tiktoken ，openai 用的字符串压缩算法，这个可以算 token

chenzhe

PRO

Apr 5, 2023

@superares 感谢。