1、基于指针的深度学习机器阅读理解 朱海潮 刘铭 秦兵 哈尔滨工业大学计算机科学与技术学院 摘 要： 机器阅读理解是直接以理解文字为目标的任务, 通过机器回答与指定原文相关的问题的准确程度来衡量机器对文字的理解能力。本文提出了一个基于深度学习的模型, 来应用到片段抽取型的机器阅读理解, 使用循环神经网络对原文和问题进行编码, 再通过注意力机制进行信息交互, 最后通过基于指针的方法来预测答案在原文中的起始与终止位置。实验表明, 本文提出的模型超过了传统方法的效果, 在测试集上取得了 53.1%的 F1 值和 39.6%的 EM 值。关键词： 机器阅读理解; 深度学习; 片段抽取; 作者简介：朱海潮
2、(1993-) , 男, 硕士研究生, 主要研究方向:自然语言处理;作者简介：刘铭 (1981-) , 男, 博士, 副教授, 硕士生导师, 主要研究方向:自然语言处理;作者简介：秦兵 (1968-) , 女, 博士, 教授, 博士生导师, 主要研究方向:自然语言处理、信息抽取、篇章语义等。收稿日期：2017-06-16Pointer-based deep learning method for machine reading comprehensionZHU Haichao LIU Ming QIN Bing School of Computer Science and Technology
3、, Harbin Institute of Technology; Abstract： Understanding text is the ultimate goal for machine reading comprehension task. The understanding ability of machines can be evaluated by the accuracy of question answering for specific document. The paper proposes a deep learning model and applies it to s
4、pan extraction based machine reading comprehension. The model encodes the document and question with Recurrent Neural Networks and then performs information interaction with attention mechanism. Finally, the answer can be selected by predicting the start and end position in the source document. The
5、proposed model performs better than manual features based conventional methods and obtains 53.1% F1 and 39.6% EM.Keyword： machine reading comprehension; deep learning; span extraction; Received： 2017-06-160 引言自然语言理解作为一个终极的人工智能目标, 极具现实挑战性, 而且让机器理解语言的意义也是非常重大的。从学术研究的角度来看, 这是学术研究的最前沿, 代表着机器在当今时代可能达到的最高
6、智能水平。从工业界的视角来看, 对搜索引擎、聊天机器人、私人机器助手等重要产品都有直接的应用创新进展, 拥有可产生巨大商业价值的发展空间。近年来, 深度学习发展迅速, 以深度学习为基础的模型在图像处理、自然语言处理、语音识别等研究领域已经取得了广泛的应用和良好的效果, 并且其自动抽取特征的能力极大地降低了人工的参与。阅读理解作为常见的一种题型, 对于绝大多数人来说都不陌生, 在中考、高考的语文和英语科目中非常普遍。机器阅读理解任务类似地包含原文、问题和答案, 目标就是让机器阅读给定的原文和问题, 得到正确的答案, 与面向人类的阅读理解要求是一样的。本文以片段抽取型机器阅读理解数据集 SQu A
7、D1为基础, 应用深度学习方法, 使用多层基于注意力的方式对原文和问题进行交互, 最后通过类似 Pointer Network2的机制来预测答案的边界。1 基于深度学习的实验方法随着计算能力的不断提升, 基于深度学习的复杂机器阅读理解模型是现在的主流方法, 其效果已经超过基于特征工程的传统方法和浅层的深度学习模型, 并且注意力机制的引入更是显著可观地提高了深度学习模型的效果。GAReader 是一个由 Dhingra3等人提出的面向填空型机器阅读理解的深度学习模型, 通过门实现细粒度的注意力机制。受 Pointer Networks 的启发, 本文采用对 GAReader 的最后输出层进行改造
8、。研究采用的是预测答案范围边界的方法, 按顺序分别预测答案的起始位置和终止位置, 该方法的步骤为:Step 1 使用预训练得到的词向量, 通过公式 (1) 将稀疏表示的输入转换为 dl维的稠密向量表示, 其中 L 为 Rl, 在训练过程中, 词向量保持不变, 不进行梯度更新。Step 2 通过双向 GRU 读入上一层的向量化词表示, 对上下文信息进行编码, 需要注意的是对于原文和问题使用不同的 GRU, 公式 (2) 中 FW (xt) 和 BW (xt) 分别指前向和后向 GRU 的隐藏层状态, 对于原文保留每个时刻的隐含层状态, 对于问题将正向 GRU 和反向 GRU 最后时刻的隐藏层状态
9、拼接在一起, 得到问题的表示。Step 3 通过将上一层的 et和 q 经过基于门的注意力机制处理后, 输入到当前层中, 执行 Step 2 的操作 K 次后, 得到堆叠在一起的 K 层, 公式 (3) 中的表示元素级的相乘。Step 4 预测起始位置。Step 5 预测终止位置。通过 as对 eK加权求和得到基于起始位置的原文向量表示 ds;然后通过一个 GRU网络融合原文和问题的信息到隐含层状态 he中, 其中 ds作为 GRU 网络的输入, 作为 GRU 网络的初始隐含层状态;最后使用 he和 eK计算原文中每个位置的注意力 ae, 并预测答案的终止位置 pe。通过上述五步, 研究得到答
10、案在原文中位置的边界 ps和 pe, 并且两个边界的位置并不是相互独立的, 在预测终止位置 pe时, 研究在考虑问题和原文的同时, 也使用了包含起始位置信息的向量 ds, 更加合理。本文将修改后的模型称作Pointer GAReader。2 实验数据与评价指标2.1 实验数据SQu AD 数据集由 Rajpurkar1发布在 EMNLP2016 上, 获得该会议 2016 年的最佳资源奖, 是机器阅读理解领域里颇具代表性的大规模数据集, 其中每个样例包括原文、问题和答案, 其中问题一定与原文相关, 并且答案是原文中的一段文本, 如图 1 中加粗部分所示。图 1 SQu AD 示例 Fig.1
11、Example of SQu AD 下载原图研究中, 采用众包的方式基于 536 篇 Wikipedia 文本构建了 107 785 个问答对, 数据集的主题也很丰富, 包含音乐名人、抽象概念、历史事件等类别。质量和难度上较之前数据集更呈明显优势, 而且也更具有挑战和研究价值。由于该数据集的测试集并不公开, 基于方便实验的考虑, 本文将开发集中部分数据划分为测试集进行实验, 划分后的数据集规模如表 1 所示。2.2 评价指标对于 SQu AD 数据集有两种评价指标, 分别为 EM 值和 F1 值。给定标准答案字符串和模型预测结果字符串, 首先通过 3 个步骤对字符串进行规范化处理得到 strg
12、old和 strpred, 然后用空格分词得到词列表 gold 和 pred:1) 将所有单词转换为小写;2) 去除字符串中的所有标点;3) 去掉 a、an、the 三个定冠词。用公式 (6) 计算 EM 值, 用公式 (7) 计算 F1 值:在开发集和测试集中均有 3 个标准答案, 在进行评价时取最大的 F1 值和 EM 值作为最终评价结果。3 实验结果与分析基于深度学习的 SQu AD 机器阅读理解实验结果如表 2 所示。表 2 中, Random Guess 为随机预测答案, Logistic Regression 为 Rajpurkar1提出的基于人工特征的 Logistic 回归模型
13、, Pointer GAReader 为本文的模型, Human 为人类在该数据集上的回答。表 2 实验结果 Tab.2 Experimental results 下载原表 从表 2 中可以看到, 基于 GAReader 的深度学习模型在 F1 值上提升超过 2 个百分点, 但在 EM 值上与基于人工特征的 Logistic 回归模型相差不多, 说明模型能够找到答案的大概位置, 但无法精准确定具体边界。GAReader 在填空型机器阅读理解上的表现堪称优良, 但在片段抽取型的 SQu AD 数据集上的表现却与人类的水平呈现出较大差距。分析模型预测答案的准确程度与答案长度之间的关系, 统计测试集
14、上不同答案长度对应的平均 F1 值和 EM 值, 如图 2 基于答案长度的统计所示。当答案长度较短时, 模型能够准确地预测答案, 并且 EM 值与 F1 值相差不多, 但随着答案长度的增加, 预测的准确程度出现下降趋势, 并且 EM 值比 F1 值受长度影响更大, 答案越长则使预测答案与标准答案完全相同就越发困难。图 2 基于答案长度的统计 Fig.2 Statistics based on the length of the answer 下载原图分析模型预测答案的准确程度与问题类型之间的关系, 本文通过问题中前两个词是否包含特定疑问词, 将问题分为 8 类, 统计测试集上不同问题类型对应的
15、平均 F1 值和 EM 值, 如图 3 所示。可以看到模型在 When 和 Who 两类事实型问题上表现最好, 说明模型通过计算问题和原文的相似性, 能够准确地在原文中找到事实类问题的答案。但在 Why 这类原因推理型问题上表现非常差, 说明模型目前只具有浅显的推理能力, 还不能圆满有效地综合问题与原文信息经过推理后在原文中找到答案。图 3 基于问题类型的统计 Fig.3 Statistics based on problem types 下载原图4 结束语本文使用片段抽取型数据集 SQu AD 作为研究的实验数据, 受 Pointer Networks 启发提出了深度学习模型 Pointer
16、 GAReader, 通过 Pointer 来预测答案在原文中的起始和结束位置。实验结果表明基于深度学习的模型超过基于人工特征的 Logistic 回归模型, 但与人类的表现仍有相当大的差距, 因而尚存较大的提升空间。通过统计不同答案长度和问题类型的 F1 值与 EM 值, 分析模型的表现可知, 模型能够在一定程度上理解文本和问题, 但缺乏回答复杂问题时的推理能力。参考文献1RAJPURKAR P, ZHANG J, LOPYREV K, et al.SQu AD:100, 000+questions for machine comprehension of textJ.ar Xiv prep
17、rint ar Xiv:1606.05250. 2VINYALS O, FORTUNATO M, JAITLY N.Pointer networksJ.ar Xiv preprint ar Xiv:1506.03134. 3DHINGRA B, LIU Hanxiao, YANG Zhilin, et al.Gated-attention readers for text comprehensionJ.ar Xiv preprint ar Xiv:1606.01549. 4PENNINGTON J, SOCHER R, MANNING C.Glove:Global vectors for wo
18、rd representationC/Conference on Empirical Methods in Natural Language Processing.Doha, Qatar:dblp, 2014:1532-1543. 5ANGELI G, MANNING C D.Natural LI:Natural logic inference for common sense reasoningC/Conference on Empirical Methods in Natural Language Processing.Doha, Qatar:dblp, 2014:534-545. 6KA
19、DLEC R, SCHMID M, BAJGAR O, et al.Text understanding with the attention sum reader networkJ.ar Xiv preprint ar Xiv:1603.01547. 7WANG Hai, BANSAL M, GIMPEL K, et al.Machine comprehension with syntax, frames, and semanticsC/Proceedings of the 53rd Annual Meeting of the Association for Computational Li
20、nguistics and the 7thInternational Joint Conference on Natural Language Processing.Beijing, China:ACL, 2015:700-706. 8SACHAN M, DUBEY K, XING E, et al.Learning answer-entailing structures for machine comprehensionC/Proceedings of the 53rd Annual Meeting of the Association for Computational Linguisti
21、cs and the 7thInternational Joint Conference on Natural Language Processing.Beijing, China:ACL, 2015:239-249. 9SMITH E, GRECO N, BOSNJAK M, et al.A strong lexical matching method for the machine comprehension testC/Conference on Empirical Methods in Natural Language Processing.New York:ACL, 2015:1693-1698.
