最近想做一个 token 计算的，看看缓存到具体哪里，然后怎么算都算不对的，已经不知道这个 token 怎么算了，我记得之前 openai 还会公布一下 token 是怎么算的。 你们知道吗？ 比如千问，豆包，deeepseek 那些最新的大模型 token 都是怎么算的吗？
This topic created in 47 days ago, the information mentioned may be changed or developed.
 |
1
zizon Jun 24
都是 response 里回传回来的统计信息.
有些要手动开才会有对应 payload. |
 |
2
sillydaddy Jun 24
没看懂，是计算一段文本转化成多少？还是多轮对话中，各种类型 token 数量是怎么计算的？
前者有专门的工具，后者的计算算是基本常识，跟厂家无关，问一下大模型就知道了：cached input, not cached input, cache write, output ，都是通用的。 |
 |
3
suckinbottle Jun 24
你可以理解为黑盒
|
 |
4
msg7086 Jun 24
文字到 token 的映射，不同模型应该是不一样的。
至于缓存多少，这个也不一定精确，比如我看 codex gpt 就是一块一块存的，不满一块他不存。 gpt 里一块是 128 token ，所以就是存到最近的 128 的倍数为止。 |
 |
5
wat4me Jun 24
什么意思，api 调用的时候会返回啊，还是说你想要本地计算用户输入输出的 token ？ DeepSeek 有放出来 V3 的分词器，openai 可以看 https://platform.openai.com/tokenizer
|
 |
6
KagurazakaNyaa Jun 24
开源的都可以算，闭源的看厂商有没有放出 tokenizer 来
deepseek 的最新大模型是有 tokenizer 的 https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/tokenizer.json 只要有架构，有 tokenizer ，就能本地计算出一段文本对应的 token ，然后统计一下就是 token 数了 |
 |
7
Zhuzhuchenyan Jun 24
HuggingFace 公开权重的模型：AutoTokenizer.from_pretrained(...)
Deepseek: https://api-docs.deepseek.com/quick_start/token_usage#calculate-token-usage-offline gpt: https://platform.openai.com/tokenizer 豆包我还真没找到 |
Select Language