文章核心观点
本文介绍了 Natural Questions 数据集，这是一个用于问答研究的新数据集。该数据集包含真实匿名用户向谷歌搜索引擎提出的查询，以及针对这些查询在维基百科上找到的答案的注释。注释包括长答案（通常是一段文字）和短答案（一个或多个实体），如果页面上没有答案，则标记为 null。数据集包含 307,373 个训练示例，7,830 个用于开发的数据，以及 7,842 个用于测试的数据。本文还介绍了用于评估问答系统的鲁棒指标，并展示了这些指标上的人类上限，并使用来自相关文献的竞争方法建立了基线结果。
1. 引言
- 开放域问答 (QA) 是自然语言理解 (NLU) 的重要任务，具有实际应用价值，并可以推动 NLU 方法的发展。
- 现有的 QA 数据集存在一些局限性，例如：
- 问题与答案的生成方式不自然
- 任务定义过于简单
- 缺乏大规模训练数据
- 评估指标不完善
2. 相关工作
- 介绍了 SQuAD、TriviaQA、NarrativeQA、HotpotQA、WikiQA、MS MARCO 等现有 QA 数据集的优缺点，并分析了它们与 NQ 的差异。
3. 任务定义和数据收集 - NQ 数据集包含 (问题， 维基百科页面， 长答案， 短答案) 四元组，其中：
- 问题是来自 Google 搜索引擎的真实匿名聚合查询
- 维基百科页面可能包含也可能不包含问题的答案
- 长答案是包含回答问题所需所有信息的 HTML 框，通常是段落或表格
- 短答案是长答案中回答问题的实体或实体集，或布尔值 “yes” 或 “no”
- 数据收集过程包括：
- 使用启发式方法从 Google 搜索引擎中过滤出问题
- 对每个问题，使用 Google 搜索引擎获取前 5 个搜索结果中的维基百科页面
- 由人工标注者标注长答案和短答案
4. 标注质量评估
- 使用两种方法评估标注质量：
- 专家对非空答案进行事后评估，计算标注精度
- 对部分数据集进行 25 方标注，分析标注者之间的一致性
- 结果表明，NQ 数据集的标注质量较高，但也存在一些可接受答案的歧义性。
5. 评估指标 - 使用 5 方标注数据作为评估指标的基础，定义了基于 5 方标注的准确率指标。
- 介绍了精度和召回率的定义。
- 构建了“超级标注者”作为评估指标的上界。
6. 基线性能 - 介绍了三种无训练基线和两种训练模型：
- 无训练基线：选择维基百科页面第一段、最常见的标注、与评估问题最相似的训练集问题
- Document-QA 模型：在 SQuAD 和 TriviaQA 上表现良好，经过修改后应用于 NQ
- 自定义流水线模型 (DecAtt + DocReader)：使用自然语言推理模型选择长答案，使用短答案提取模型选择短答案
- 结果表明，现有的 QA 方法在 NQ 数据集上的性能还有很大的提升空间。
7. 结论 - NQ 数据集为 QA 研究提供了重要的基准数据，并推动了 NLU 的发展。
- 现有的 QA 方法在 NQ 数据集上的性能还有很大的提升空间，需要进一步的研究和改进。