V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cairnechen
V2EX  ›  问与答

大模型对长文本的处理都是会分段的吗?

  •  
  •   cairnechen · 7 天前 · 669 次点击
    最近在折腾一个对超长文本的 AI 总结,要求对目标信息进行提取然后归一化,但是输出的结果总是存在重复,严重怀疑是分段分别处理后归一化,然后没有整体归一化导致出现这种情况

    或者说这本来就是大模型不擅长的领域?
    2 条回复    2026-03-17 10:25:27 +08:00
    ihciah
        1
    ihciah  
       7 天前 via iPad
    这是超 context 然后被 truncated 了吧
    cairnechen
        2
    cairnechen  
    OP
       7 天前
    @ihciah 超 context 直接 API 就报错了吧,虽然我说是超长文本,但是肯定没超过输入限制的
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   3227 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 14:00 · PVG 22:00 · LAX 07:00 · JFK 10:00
    ♥ Do have faith in what you're doing.