这是一个创建于 552 天前的主题，其中的信息可能已经有所发展或是发生改变。
如果我没理解错误的话
32k 指的是输入＋输出最大为 32k 吧
那我历史＋新提问 的 tokens 或许设置为 16k 比较好？
假设我历史记录无限多，要是设置成 32k ，他岂不是没得输出喽？
亦或者其实他输入也有个限制，比如 16k ？
32k 指的是输入＋输出最大为 32k 吧
那我历史＋新提问 的 tokens 或许设置为 16k 比较好？
假设我历史记录无限多，要是设置成 32k ，他岂不是没得输出喽？
亦或者其实他输入也有个限制，比如 16k ？
 |
1
swulling 2023-06-25 08:08:17 +08:00 via iPhone
自己手动切历史记录或者用 API 对历史记录进行 summary
|
 |
2
kaichen 2023-06-25 09:58:29 +08:00
你如果用的 langchain 来做，可以直接用他的 memory 类，想简单限制数量就用 ConversationTokenBufferMemory ，想做总结再来回交互用 ConversationSummaryBufferMemory
记录的持久化也能处理 https://api.python.langchain.com/en/latest/modules/memory.html |
Select Language