LLM 的长文本的复杂推理优化问题

[teli]

提示词长度几 K
输入加输出，大概 10K
推理是个树状的结构

如果直接单轮，准确性问题很大
"一步步思考"之类是个摆设
结构化提示词也收效甚微
也试过请 llm 自己优化提示词，没给出什么有价值的优化

目前发现效果最好的是，把整个任务拆了，每个子任务只包含需要的部分，每次只请求一个任务
这个方案缺点有：
1. token 翻倍（这个怎么解决？ 毕竟 token 就是金钱）
2. 耗时翻倍（这个可以并发解决）

或者大家有没有更好的方案？

[mumbler]

试过 openai 刚刚发布的 o1 模型吗，专门解决复杂推理

[wencan]

@mumbler 国内上生产要提供算法备案

[TimePPT]

当前没有很好办法解决，保准确率只能牺牲时延和增加计算量，做法就是你说的拆任务配合传统循环+条件判断组成 workflow 控制，这也是为啥会有 dify 这种产品存在