cairnechen
V2EX  ›  问与答

大模型对长文本的处理都是会分段的吗?

  •  
  •   cairnechen · Mar 16 · 1060 views
    This topic created in 59 days ago, the information mentioned may be changed or developed.
    最近在折腾一个对超长文本的 AI 总结,要求对目标信息进行提取然后归一化,但是输出的结果总是存在重复,严重怀疑是分段分别处理后归一化,然后没有整体归一化导致出现这种情况

    或者说这本来就是大模型不擅长的领域?
    2 replies    2026-03-17 10:25:27 +08:00
    ihciah
        1
    ihciah  
       Mar 17 via iPad
    这是超 context 然后被 truncated 了吧
    cairnechen
        2
    cairnechen  
    OP
       Mar 17
    @ihciah 超 context 直接 API 就报错了吧,虽然我说是超长文本,但是肯定没超过输入限制的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1259 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 23:39 · PVG 07:39 · LAX 16:39 · JFK 19:39
    ♥ Do have faith in what you're doing.