openai stream 模式如何自行统计 token

[chenzhe]

RT

如果不是 stream 模式会返回 token count ，但是用 stream 模式就没返回了。不知道该怎么计算自己大致的使用量。

[superares]

搜 tiktoken ，openai 用的字符串压缩算法，这个可以算 token

[chenzhe]

@superares 感谢。