一 背景介绍
数据表示是机器学习领域的基础问题。在机器学习任务中,第一步即输入样本数字化。不同于声音、图像、视频等数字信号,自然语言具有先天的高度结构化、抽象化的特点。因此自然语言任务的首要任务便是将语言文字数字化。
随着技术的发展,语言文字的表征方式不断进步。从最初始的one-hot到如今的分布式表示,词向量包含的信息愈加的丰富。现有的统计模型对于未登录词、低频词依然无法有效的表征。中文词向量研究受限于中文汉字特有的“象形”特征,尚没有一种有效利用笔画信息方法。
二 研究难点
汉字是一种具有二维复杂结构的象形字。笔画——部件——汉字的层次构成结构。研究中文汉字字向量有一下难点:
1、部件结构复杂
不同部件在汉字中位置不一样,导致汉字字义变化,如“杲 gao3”、“杳yao3”等;
2、不同汉字可能对应相同的笔画序列
“日 曰”、“人 八 乂”等。
3、笔画序列为一维序列,汉字为二维结构
三 方法与设计
1、使用CNN网络结构,提取笔画序列中的部件信息
CNN网络结构具有平移不变性,卷积核大小的设置对应n-元笔画的部件,可以通过设置不同卷积核大小,提取不同笔画序列的部件信息
2、细化笔画系统,笔画序列和汉字一一对应
如“横”细化为“长横、短横、横”等,可以区分“日 曰”等汉字。引入注意力机制,计算笔画对汉字的贡献度去模拟细化后的笔画系统。
3、模型设计
模型扩展了Word2Vec中的CBOW模型,使用上下文抽取器替换上下文矩阵,字向量生成器替换词向量矩阵,采用Negative Sample方法,进行模型的训练。
需要注意的是,字向量生成器的输入是原始笔画序列X字向量贡献度,得到的新的笔画序列。
四 实验结果
对比了Word2Vec、GLoVe与本模型在中文NER中的准召率,本模型为F1值为81.6%,Word2Vec为80.2%,GloVe为81.1%。