基于机器学习的文本分类算法的研究

1. 简述

文本分类的方法属于有监督的学习方法，分类过程包括文本预处理、特征抽取、降维、分类和模型评价。本文首先研究了文本分类的背景，中文分词算法。然后是对各种各样的特征抽取进行研究，包括词项频率-逆文档频率和word2vec，降维方法有主成分分析法和潜在索引分析，最后是对分类算法进行研究，包括朴素贝叶斯的多变量贝努利模型和多项式模型，支持向量机和深度学习方法。深度学习方法包括多层感知机，卷积神经网络和循环神经网络。

2. 背景

目前，人工智能发展迅猛，在多个领域取得了巨大的成就，比如自然语言处理，图像处理，数据挖掘等。文本挖掘是其中的一个研究方向。根据维基百科的定义，文本挖掘也叫文本数据挖掘，或是文本分析，是从文本中获取高质量信息的过程，典型的任务有文本分类、自动问答、情感分析、机器翻译等。文本分类是将数据分成预先定义好的类别，一般流程为：1. 预处理，比如分词，去掉停用词；2. 文本表示及特征选择；3. 分类器构造；4. 分类器根据文本的特征进行分类；5. 分类结果的评价。

由于近年来人工智能的快速发展，文本分类技术已经可以很好的确定一个未知文档的类别，而且准确度也很好。借助文本分类，可以方便进行海量信息处理，节约大量的信息处理费用。广泛应用于过滤信息，组织与管理信息，数字图书馆、垃圾邮件过滤等社会生活的各个领域。

3. 文本分类的过程

文本分类（Text Classification）利用有监督或是无监督的机器学习方法对语料进行训练，获得一个分类模型，这个模型可以对未知类别的文档进行分类，得到预先定义好的一个或多个类别标签，这个标签就是这个文档的类别。

4. 预处理

本文处理的数据是文本，预处理是对文本数据进行处理，大都是非结构化的文本信息。预处理就是去除没用的信息，同时把有用文本信息用数字表示，这样才可以为计算机处理。文本预处理主要包括分词、去除停用词和特殊符号。英文的基本单位是单词，可以根据空格和标点符号进行分词，然后再提取词根和词干。中文的基本单位是字，需要一些算法来进行分词。现在主要的中文分词方法有：

（1）基于字符串匹配的分词方法[2]

该方法是将待分词的字符串从头或尾开始切分出子串，再与存有几乎所有中文词语的词典匹配，若匹配成功，则子串是一个词语。根据匹配位置的起点不同，分为正向最大匹配算法（Forward Maximum Matching method，FMM）、逆向最大匹配算法（Reverse Maximum Matching method，RMM）和双向匹配算法（Bi-direction Matching method，BM）。双向匹配算法利用了前两者的优势，有更好的效果。

（2）基于统计及机器学习的分词方法[3]

主要有隐马尔可夫模型（Hidden Markov Model，HMM）和条件随机场（Conditional Random Field，CRF）。HMM假设任一时刻的状态只依赖前一时刻的状态和任意时刻的观测值只与该时刻的状态值有关。它是关于时序的概率图模型，由一个不可观测的状态随机序列，经过状态转移概率和发射概率生成观测值的过程。如图2.2所示，在分词中，每个字（观测值）都对应一个状态，状态集用B（词开始）、E（词的结束）、M（词的中间）和S（单字成词）表示，转移矩阵（BEMS*BEMS）是状态集里的元素到其他元素的概率值大小，发射矩阵是从状态到观测的概率大小。最后用Viterbi算法获得一句话的最大概率的状态，再根据状态进行分词。

和隐马尔科夫模型一样，条件随机场也是基于学习字的状态来进行状态分析，最后根据状态分词，但条件随机场还利用了上下文的信息，所以准确率高于隐马尔可夫模型。

5. 特征抽取和选择

文档经过分词和去除停用词后，词就表示文本的特征项，所以训练集中的全部特征项构成的向量空间的维度相当高，能够达到几万甚至几十万维，需要选择和抽取重要的特征。

文本经过预处理后，会得到一个一个的词语，而中文的词语的多种多样的，造成维度很高的特征向量，而且每个文档的维度不一定一致，给后面的分类产生影响。所以需要进行特征选择。

目前的特征选择算法有好多，列举以下几种：

（1）词项频率-逆文档频率（Term Frequency-Inverse Document Frequency，TF-IDF）

每个属于文档d 的词项t 的权重用公式2.2计算：

|D| 是文档集D 的文档个数，分母加1防止除数为零。在TF-IDF中词项频率（TF）用逆文档频率（IDF）归一化，这种归一化降低了文档集里词项出现频率大的权重，保证能够区分文档的词项有更大的权重，而这些词项一般有比较低的频率。

（2）互信息（Mutual Information，MI）

互信息测量的是两个变量之间的相关程度，在文本分类中，计算的是特征项t 和类别li 的相关程度，如公式2.3所示：

MI的值越大，相关度越高。在进行特征选择时，选择高于某个阈值的k个特征项作为表示这个文档的向量。

（3）CHI统计（CHI-square statistic）

CHI统计计算的是特征项t 和类别的相关程度，如公式2.4所示：

特征选择与MI一样，他与MI的目的一样，都是计算特征项和类别的相关程度，只是计算公式不一样。

常见的特征提取方法有主成分分析，潜在语义索引，word2vec等。

（1）主成分分析（Principal Component Analysis ，PCA）

主成分分析通过线性变换，通常乘以空间中的一个基，将原始数据变换为一组各维度线性无关的矩阵，用于提取数据的主要特征分量，常用于高维数据的降维。如公式2.5所示：

（2）潜在语义分析（Latent Semantic Analysis，LSA）[5]

又称潜在语义索引（Latent Semantic Indexing，LSI），本质上是把高维的词频矩阵进行降维，降维方法是用奇异值分解（Singular Value Decomposition， SVD），假设词-文档矩阵如2.7所示：

（3）word2vec

word2vec的作用是将由one-hot编码获得的高维向量转换为低维的连续值向量，也就是稠密向量，又称分布式表示，可以很好的度量词与词之间的相似性，是一个浅层的神经网络，用的是CBoW模型和skip-gram模型。而奠定word2vec基础的是用神经网络建立统计语言模型的神经网络语言模型[10]（Neural Network Language Model， NNLM），整个模型如下图2.3：

首先是一个线性的嵌入式层，将输入的one-hot词向量通过 D×V 的矩阵 C 映射为 N-1 个词向量， V 是词典的大小， D 是词向量的维度，而 C 矩阵就存储了要学习的词向量。

接下来是一个前向反馈神经网络，由tanh隐藏层和softmax输出层组成，将嵌入层输出的 N-1 个词向量映射为长度为V 的概率分布向量，从而对词典中输入的词Wt 在context下进行预测,公式如下：

由于NNLM只能处理定长序列,而且训练速度太慢，所以需要改进，移除tanh层，忽略上下文的序列信息，得到的模型称为CBoW[11]（Continuous Bag-of-Words Model），作用是将词袋模型的向量乘以嵌入式矩阵，得到连续的嵌入向量，它是在上下文学习以得到词向量的表达。而Skip-gram模型则是对上下文里的词进行采样[11]，即从词的上下文获得词向量，如图2.4所示。