这是一个创建于 82 天前的主题，其中的信息可能已经有所发展或是发生改变。
公司项目要求把数十年的归档的文件结构化，然后使用 json 导出，问一下技术上如何选型 目前要求：不要求内网部署，使用 api 调用（后端交互方便），能上传文件（ doc 、pdf ），能解析成 json 目前问题：我们目前试用了 fastgpt ，先把文件全部导入知识库，然后让 gpt 根据文件名称去解析，但是会出现解析时候 1.上传的文件会被分割多个部分，解析时候就只是解析了前几个部分，有的部分不读取； 2.按照文件名设置解析的文档有可能数据来自于知识库中其他的文件； 3.gpt 模型有文字限制，文档太长解析出来的 json 就截断了 各位老哥有啥思路吗
6 条回复 • 2024-08-27 09:35:21 +08:00
 |
1
ospider 82 天前
doc 和 json 之间也没有明确映射关系吧…… GPT 巧妇难为无米之炊啊
|
 |
2
h417840395 OP @ospider 这个文本是按照一定的规则写的 有相对固定的标题和格式 用 gpt 已经能解析出来 60%左右 关键点还是上面介个问题咋办 有点头疼
|
 |
3
maymay5 82 天前
不能用知识库，必须用上下文模式，然后用 api 的 jsonschema 模式，如果 128K 的上下文还不够用，那你只能人工介入，分块然后合并，人工分块，合并可以写个函数自动化
|
|
4
h417840395 OP @maymay5 好的谢谢老哥 按这个说法知识库的应用场景不是这个？ 知识库主要用来解决啥问题的啊
|
|
5
maymay5 81 天前
@h417840395 #4 在我看来，知识库有且只有私有化，且垂直轻量的搜索引擎，这唯一一个场景
|
|
6
maymay5 81 天前
@h417840395 #4 用知识库的前提，至少知识录入人已经对文档甚至可以倒背如流了，面向给对文档不熟悉的人，也就是客服场景比较好
|
Select Language