chatgpt token 计算方式

[WorldWideWeb]

tokenizer 和 opencat 当中的计算方式是准确的吗？计算出来的 token 数量和我在 usage 里得到的 token 消耗数量似乎是不一样的（也可能是我自己搞错了）

[houshuu]

应该不同的，我记得官方给的是 GPT2 的 Fast Tokenize 实现

[HimeHina]

官方的 tokenizer 网页应该是给 GPT3 用的。GPT3.5 和 GPT4 用的 encoding 不太一样。可以用官方提供的 tiktoken 库来计算，不过官方示例说是一个估计值，但我用下来和账单的数据是一样的（可能会差一两个 token ）。

具体看[官方示例]( https://github.com/openai/openai-cookbook/blob/main/examples/How_to_count_tokens_with_tiktoken.ipynb)的第 6 小节。