线性链CRF

一、序列标注问题通用概率图结构

如图,对于序列标注问题,第一行的节点是标注标签,第二行是词。

例如“我 爱 美丽的 四川 九寨沟”

第一行节点分别是:代词、动词、形容词、名词、名词

第二行节点分别是:我、爱、美丽的、四川、九寨沟

所以模型的假设是:句子中,相邻词的词性是有逻辑关系的,每个词的词性和词性也是有关系的。词性是隐含的随机变量,词是表面的随机变量。

二、线性链假设的好处

CRF的条件概率分布是每个最大团的势函数的乘积。最大团的定义是,团中的节点两两之间都有连接,并且无法加入新的节点仍然保持团

如图,在线性链CRF中,第一行相邻的2个节点是最大团,有4个。每一列相邻的2个节点是最大团,有5个。所以上图可以拆分为9个最大团,即9个势函数的乘积。

由此,线性链CRF的好处,就是最大团的分解简单而规范化:只有2种最大团,相邻的隐层节点,如(代词,形容词),和每一对隐层节点和对应显层节点,如(代词,我)

三、势函数定义

每个最大团的势函数,就是对应特征函数的指数化。2种最大团对应2种特征函数:

转移特征函数tk对应相邻的隐层节点,所以它和yi-1,yi有关

状态特征函数sl对应每一对隐层和显层节点,所以它和yi,x有关

如图,指数相加,实际上是势函数的相乘。

四、参数学习

线性链CRF的参数学习,就是在学习每个势函数的权重值

猜你喜欢

转载自www.cnblogs.com/mimandehuanxue/p/9066363.html
CRF