请教一下此类场景在 NLP 中属于哪个功能分支,可否通过 NLP 相关模型实现

2023-02-09 14:13:35 +08:00
 s609926202

简单点说,就是从微信群聊记录中摘取关于工序流转的文本,并从中提取关键信息,录入到数据库中。

其中关键信息有:工序名称,产品型号,数量,批次,接收人等。规定的流转格式是:

封装转测试
HP-10010 10 只 2301 批
@张三

但是具体到操作员发到群聊的时候,就变味了,各种五花八门的表达都有,这也就导致原本可以使用正则来提取信息变得困难,比如:

转测试 HP-10010 10 只 2306 周  
@张三

HP-10010 转高低温测试 10 只 2306 周  
@张三

如果用 NLP 来处理,如分词、词法分析、自动摘要,都不符合上述场景。

所以请教大家,有没有一个 NLP 功能,我可以自定义词库,如产品型号、工序名称,使得它能正确的识别到这是 1 段关于工序流转的语言,从而提取出关键信息。

1936 次点击
所在节点    自然语言处理
5 条回复
liprais
2023-02-09 14:20:34 +08:00
三元组提取呗
都不用 chatgpt,一般的 gpt2 模型都能做
看看清华搞出来的那个 ,可以直接 few shot 训练
vsitebon
2023-02-09 14:41:23 +08:00
如果你产品型号长度固定而且搭配类似,然后只前边一定有数字,且周前边有数字,我觉得这个问题用个正则,或者两三个正则就能解决了。。。
s609926202
2023-02-09 14:44:43 +08:00
@vsitebon 目前用的正则,不理想,主要是各种表达都有
TimePPT
2023-02-09 14:48:24 +08:00
实体提取,常规任务,最简单就是政策,追求泛化,需要一些数据做训练语料。
VincentLee9527
245 天前
NER ,中文叫命名实体识别。任务就是从非结构化的文本中抽取出结构化的信息,然后保存到数据库中。
关键信息--即实体类型。
三种方案可以做:
1. 规则匹配的方式,这个复杂度最高,需要算法分析各种情况,然后写正则进行拟合。
2. NLU 模型,自然语言理解模型。先标注 NER 的数据,然后训练一个 NER 的模型,常见的模型架构如: BERT + CRF 、BERT-MRC 等。
3. NLG 模型,自然语言生成模型。现在最火的 chatGPT 等 LLM 。设计 prompt ,让 LLM 生成你要的数据格式。最好让 LLM 生成 json 格式的文本,这样好用规则进行提取。
——最后,可以私聊我,有偿进行指导。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/914573

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX