(2014COLING) Relation Classification via Convolutional Deep Neural Network

论文： https://www.aclweb.org/anthology/C14-1220 或者 https://pan.baidu.com/s/1p8hNvfFh4cxEwp26BEsduw
机构： 中科院

数据： SemEval2010-Task8
结果： F1值，82.7%
备注： 利用了预训练好的词向量表示，以及WordNet

输入： 一个包含两个标注实体的句子，例如 [People] have been moving back into [downtown]
输出： 一个向量，各维度代表各个关系的概率

过程：

• Word Representation :

  直接利用已有公开的词向量资源，将词转化为词向量
  原文：

  • each input word token is transformed into a vector by looking up word
    embeddings.
  • directly utilize the trained embeddings

• Lexical Level Features:

  以下这些词的词向量表示，拼接在一起组成词汇级别的特征

  • Noun 1
  • Noun 2
  • Left and right tokens of noun 1
  • Left and right tokens of noun 2
  • WordNet hypernyms of nouns

• Sentence Level Features:

  句子中的每一个词，对应一个 Word Features(WF) 和一个Position Features(PF)

  例如：句子为 $[People]_0$ $have_1$ $been_2$ $moving_3$ $back_4$ $into_5$ $[downtown]_6$

  • WF
    moving 这个词，index为3，对应的词向量为 $x_3$
    若设置窗口大小（Window Size）为3
    则WF为[ $x_2$, $x_3$, $x_4$]
  • PF [论文创新点]
    moving 这个词，距离[People] (实体1)的距离为3，距离[downtown] (实体2)的距离为-3
    距离值通过查询distant embeddings得到距离值对应的向量
    （distant embeddings随机初始化，在训练过程中更新）
    $d_1$为当前词距离实体1的距离值对应的向量， $d_2$为当前词距离实体2的距离值对应的向量
    则PF为 [ $d_1$, $d_2$]

  然后利用卷积神经网络，提取特征，即为句子级别的特征
  

• Output:

  词汇级别的特征和句子级别的特征，拼接在一起，得到一个向量
  通过softmax classifier得到最终结果

BibTeX：

@inproceedings{zeng-etal-2014-relation,
    title = "Relation Classification via Convolutional Deep Neural Network",
    author = "Zeng, Daojian  and
      Liu, Kang  and
      Lai, Siwei  and
      Zhou, Guangyou  and
      Zhao, Jun",
    booktitle = "Proceedings of {COLING} 2014, the 25th International Conference on Computational Linguistics: Technical Papers",
    month = aug,
    year = "2014",
    address = "Dublin, Ireland",
    publisher = "Dublin City University and Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/C14-1220",
    pages = "2335--2344",
}