1.个人理解和总结
- 对比HMM的状态转移概率矩阵和发射概率矩阵CRF有自己的定义在边上的特征函数(相当于转移概率)和定义在节点上的特征函数(相当月发射概率)
- 序列标注HMM可以根据转移概率矩阵和发射概率矩阵计算出隐状态序列概率,(齐次马尔科夫假设:当前状态只与前一状态有关,观测独立性假设:观测序列的状态只与这一时刻的隐状态相关),而CRF则是计算概率图中所有最大团的特征函数来模拟出隐状态序列概率
2.巨人的肩膀
非常感谢博文的原作者,刘启林的精彩总结
CRF条件随机场的原理、例子、公式推导和应用
条件随机场(Conditional Random Field,CRF)是自然语言处理的基础模型,广泛应用于中文分词、命名实体识别、词性标注等标注场景。
条件随机场CRF与深度学习结合,产生了BiLSTM-CRF、BiLSTM-CNN-CRF等模型,在中文分词、命名实体识别、词性标注也取得不错的效果。
条件随机场CRF与Attention机制结合,又发展成了Transformer-CRF、BERT-BiLSTM-CRF等模型,使中文分词、命名实体识别、词性标注效果又有显著提高。
本文先引出条件随机场CRF的场、随机场、团、最大团等相关基础概念;接着介绍CRF的原理,重点阐述了线性链条件随机场的原理;然后介绍CRF在中文分词、命名实体识别、词性标注的具体应用;最后对CRF进行总结,指出图模型之间的演化关系,及CRF模型的发展简史。
本文结构如下:
一、CRF基础
1、无向图
2、马尔可夫随机场
3、最大团
4、无向图的因子分解
二、CRF原理
1、条件随机场
2、线性链条件随机场
3、线性链条件随机场公式
4、条件随机场例子
三、CRF应用
1、中文分词
2、命名实体识别
3、词性标注
四、CRF总结
1、CRF的概括总结
2、图模型之间的关系
3、CRF的发展简史
直接上PPT。
一、CRF基础
1、无向图
什么是图?什么是无向图?
2、马尔可夫随机场
什么是场?什么是随机过程?
什么是随机场?什么是马尔可夫随机场?
3、最大团
什么是团?什么是最大团?
4、无向图的因子分解
Hammersley-Clifford 定理如下:
举个无向图的因子分解的例子。
二、CRF原理
1、条件随机场
2001年,John Lafferty, Andrew McCallum 和 Fernando Pereira,在论文《 Conditional Random fields :Probabilistic Models for Segmenting and Labeling Sequence Data》提出条件随机场。
提出条件随机场。
条件随机场定义如下:
2、线性链条件随机场
线性链条件随机场的定义如下:
线性链条件随机场CRF的图结构
3、线性链条件随机场公式
特征函数定义如下:
为了简单起见,将转移特征和状态特征及其权值用统一符号表示。条件随机场简化公式如下:
4、条件随机场例子
例2:已知中文文本"刘启林”,采用IOB标注方法,求实体标注序列为{ B,I,I }的概率。
例1的几何描述如下:
例1的标注序列为{ B、I、I}的联合概率分布如下:
三、CRF应用
1、中文分词
基于CRF由字构词方法的基本思想,基本原理如下:
CRF中文分词的图结构如下:
2、命名实体识别
基于CRF的命名实体识别过程如下:
CRF命名实体识别的图结构如下:
3、词性标注
基于CRF词性标注方法的基本思想,基本原理如下:
CRF中文词性标注的图结构如下:
四、CRF总结
1、CRF的概括总结
2、图模型之间的关系
朴素贝叶斯、HMM、逻辑回归、CRF等图模型关系如下:
朴素贝叶斯、HMM、逻辑回归、CRF对比如下表所示:
更多HMM可参考:
更多LR逻辑回归模型可参考:
3、CRF的发展简史
机器学习阶段:CRF
深度学习阶段:BiLSTM-CRF、BiLSTM-CNN-CRF
Attention阶段:Transformer-CRF、BERT-BiLSTM-CRF
条件随机场CRF一直是标注问题的基础模型。
由于能力和水平的限制,我的可能是错的。
参考文献:
1、王元等, 数学大词典(第二版), 科学出版社[M], 2017.09
2、John Lafferty, Andrew McCallum, and Fernando Pereira, "Conditional Random Fields:
Probabilistic Models for Segmenting and Labeling Sequence Data", June 2001.
3、李航, 统计学习方法(第2版), 清华大学出版社[M], 2019.05
4、宗成庆, 统计自然语言处理(第2版), 清华大学出版社[M], 2013.08
5、Charles Sutton and Andrew McCallum, An Introduction to Conditional Random Fields, 2011