大模型对长文本的处理都是会分段的吗？

[cairnechen]

最近在折腾一个对超长文本的 AI 总结，要求对目标信息进行提取然后归一化，但是输出的结果总是存在重复，严重怀疑是分段分别处理后归一化，然后没有整体归一化导致出现这种情况

或者说这本来就是大模型不擅长的领域？

[ihciah]

这是超 context 然后被 truncated 了吧

[cairnechen]

@ihciah 超 context 直接 API 就报错了吧，虽然我说是超长文本，但是肯定没超过输入限制的