实体识别与关系抽取

 

实体是知识图谱的基本单元,也是文中承载信息的重要语言,实体识别是识别出文中实体的命名性指称项。

  • 实体识别的主要难点在于(1)命名形式多变(2)命名实体的语言环境复杂。
  • 实体识别的方法:
  1. 基于规则的识别方法

特点:准确率高,接近人类的思考方式,但成本昂贵规则的制定主要依赖领域专家。

  1. A,基于机器学习的识别方法-基于特征的方法

代表性方法:CRF方法。

为训练CRF模型,首先定义特征函数集合,对于特征函数的定义可以考虑上下文词汇和词性特征,在CRF模型训练过程中,当定义好的特征函数集合后就需要估计模型的参数,根据训练集估计每个特征函数的权重,lambda,采用极大似然估计。训练完CRF模型后使用viterbi算法,寻找网络中最大概率的路径来确定输出的命名实体标记。

B,基于机器学习的识别方法-神经网络捕获特征。

一般步骤:(1)特征表示,将文字符号特征表示为分布式特征信息(2)模型训练:利用标注数据,优化网络参数,训练网络模型。(3)模型分类,进而完成实体识别。经典模型是lample2016年提出的基于LSTM+CRF的模型。

 

  • 实体消歧
  1. 基于聚类的实体消歧方法,和基于实体链接的实体消歧方法,计算实体与实体,实体与文本,文本与文本之间的相似度都是核心问题,传统的方法主要是利用自然语言处理工具来抽取词性,依存句法等特征,扩展性差表示能力不足。近年来用深度学习的方法缓解上述问题。
  2. 基于神经网络的实体消歧方法:基于整篇文档作为输入,利用DNN通过预训练得到文档和实体的表示的微调,进而完成实体消歧;基于CNN的模型文本表示时使用词向量拼接了位置特征。

 

  • 关系抽取

关系抽取定义为两个或多个实体之间的联系,关系抽取就是自动识别实体之间的某种语义关系。根据数据源的不同,关系抽取分为三类:a,面向结构化文本的关系抽取 b,面向非结构化文本的抽取c,面向半结构化的文本抽取;根据抽取的范围不同:a,关系抽取可以分为句子级别的关系抽取和语料或篇章级的关系抽取。

基于神经网络的关系抽取方法:一般步骤是:(1)特征表示,将纯文本的特征表示为分布式特征表示(2)神经网络的构建与高层特征表示(3)模型训练:利用标注数据优化网络参数(4)模型分类:利用训练的模型,对新样本进行分类,进而完成关系抽取。

Zeng,2014年用卷积神经网络的方式,提取的特征包括词汇级别的特征和句子级别的特征,并将它们进行拼接。传统的有监督关系抽取方法需要依赖人工标注的数据,限制了算法使用的领域,而带有标注的文本通常是稀缺的资源,出现了距离监督的方法。Zeng特出了分段卷积神经网络的构造,抽取文本的特征。由于Zeng只利用了包中一个句子信息,Lin,Ji等提出利用句子级别的关注机制来自动捕获不同句子的重要程度,自动获取有用的句子,过滤掉噪声句子,也有人在此基础上提出了利用更多背景知识来提升模型的性能。后面改进是首先是基于双向RNN,然后有人提出带有注意力机制的BLSTM网络模型(Att-BLSTM)解决基于CNN模型中不能捕捉长距离语义信息的不足的问题,以及双向RNN的梯度消失问题。

 

 

参考资料:

[1]Guilaume,Neural architectures for namede recognition,2016

[2]ZhengyanHe,et al,Learning entity represe ntation for entity disambiguation,2013

[3]YamingSun et al,Modeling mention,context and entity with neural networks for entity disambiguation,2015

[4]PengZhou et al,Attention-Based Bidirection-al Long Short-Term Memory Networks for Relation Classition

[5]HongZhao et al, Learning Deep Neural Networks and Knowledge Graphs for entity representation for entity disambiguation

[6]Guoliangji,et al,Distant Supervision for Relation Extraction with Sentence-level Attention and Entity Descriptions.

[7]Zeng,et al, Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks.

[8]Yankai,et al. Neural relation extraction with selective attention over instances.

 

 

 

 

 

 

猜你喜欢

转载自blog.csdn.net/dream6104/article/details/88703773