没想到在 V 站上，这么简单的问题也能鸡同鸭讲，有人说原理，有人说具体实现，而且还互相打起来……

从原理上来说，ChatGPT 用的模型是自回归的，也就是说，确确实实模型是需要一个字(token)一个字往外吐的。

从实现上来说，可以等模型完全生成再返回给你，也就是上面有人提到的 `stream=False`。但是这样的用户体验反而不好，还不如把这个过程暴露给用户。但是考虑到网络传输，也不可能真的一个包只包含一个字符，那样传输的 overhead 和 latency 都太大了，所以你如果真的看返回的包的话，一个包里包含一段话。也就是说，其实传输上是完全缓存和完全 stream 的一个折中。

再从商业上说，所谓充值可以一下返回，无非是优先级更高，返回更快，不可能改变模型自回归的根本属性……