DrQA 基于维基百科数据的开放域问答机器人实战教程 [人工智障的阅读理解水平有点惊人了,可以精准的回答类似斯坦福大学的位置这样的问题]

2018-07-20 20:02:19 +08:00
 1722332572

DrQA 基于维基百科数据的开放域问答机器人实战教程

DrQA 是一个基于维基百科数据的开放域问答系统,它由检索器和阅读器组成。其中检索器用于从海量的文本(例如维基百科)中获得相关的文章;阅读器用于从文章中获得相应的答案。

官方介绍: DrQA 是一个应用于开放域问答的阅读理解系统。特别是,DrQA 的目标是“大规模机读”( MRS )。在这个设定中,我们在可能非常大的非结构化文档集中搜索问题的答案。因此,系统必须将文档检索(查找相关文档)的挑战与机器对文本的理解(从这些文档中识别答案)的挑战相结合。

我们使用 DrQA 的实验侧重于回答 factoid 问题,同时使用 Wikipedia 作为文档的独特知识源。维基百科是一个非常适合大规模,丰富,详细信息的来源。为了回答任何问题,必须首先在超过 500 万个文章中检索可能相关的文章,然后仔细扫描它们以确定答案。

请注意,DrQA 将 Wikipedia 视为一个通用的文章集合,并不依赖于其内部知识结构。因此,DrQA 可以直接应用于任何文档集合。

数据集:维基百科

框架:PyTorch

版本:PyTorch torch-0.3.0

论文:Reading Wikipedia to Answer Open-Domain Questions

项目: https://github.com/facebookresearch/DrQA

系统架构:

实战: 交互模式下提问:

where is stanford university

可以看到检索到的文档是 Stanford University,问题的答案是:浅绿色标注的部分,答案非常的精准。

交互模式下提问:

where is Barack Hussein Obama from

交互模式下提问: 回答不是很精准,我其实想问的是奥巴马来自哪里。答案返回的是奥巴马在哪里,奥巴马在华盛顿,不过也还是相当不错。

who is Donald Trump 这个问题并没有找到准确的答案,虽然文档是相关的。

原文链接: http://tf86.com/2018/07/20/reading-wikipedia-to-answer-open-domain-questions/

1846 次点击
所在节点    Python
1 条回复
TimePPT
2018-07-21 09:50:04 +08:00
这个开源有一阵子了。OpenDomainQA 这块其实很复杂。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/472767

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX