Joint Training of Candidate Extraction and Answer Selection for Reading Comprehension读书笔记

发表于ACL2018

开放领域问答任务中,以往模型主要注重建模passage和question之间的关系,却很少关注候选答案实体。本文采用收集-筛选框架,先从各个passage中选出候选答案集合,再根据候选答案集合筛选最后的答案。我认为也算是一种“从粗到细”的方法。

模型:

    1.收集候选答案集合

    用BiLSTM对question和passage分别建模,再利用两两内积算相似度矩阵,用question加权平均表示passage每一个位置,再和原位置表征拼接,过BiLSTM。最后利用线性变换对答案开始和结束位置分别打分,归一化得到概率。

    2.答案筛选

    BiLSTM+最大池化对question表征rq

    word embedding+exact match+rq作为passage每个单词表征,过BiLSTM得到Sp

    每个candidate的word embedding作为Sc,根据开始和结束embedding过tanh函数得到rc

    candidate两两间通过tanh计算相似度,用加权平均相互表征得到rc_

    最终再对passage表征:

        Sp

        Sp和Sc两两内积算相似度矩阵,用Sc加权平均得到Sp每个位置表征Sp_

        与candidate的距离

        rc

        rc_

    上述特征拼接,过BiLSTM+max_pooling,最后softmax输出选择概率

候选答案集合的选择对结果影响很大,但是数据只有正确答案,没有中间的候选答案集合。本文采用强化学习来训练,选择候选答案和最终输出是action,根据与答案集合的匹配度计算reward。

猜你喜欢

转载自blog.csdn.net/sjh18813050566/article/details/86673668