规则分词：机械的分词方法，主要是通过维护词典，每次分割时将词语中每个字符串与词典表中的词逐一比较，确定是否切割（很费时）。按照切分方式，主要有正向最大匹配法，逆向最大匹配法，及双向最大匹配法。
1.正向
从左至右取切分汉语的m个字符串作为匹配字段，m是需要设置的字典中最大词条长度；
在词典中进行查找，若匹配成功则将匹配字段作为切分词提取出来；若不成功，去掉最后一个字，新的字段再从新去词典里匹配，直到切分完成。
2.逆向
3.正逆向
4.词袋模型
三部曲：分词（tokenizing），统计修订词特征值（counting）与标准化（normalizing）
它仅仅考虑了词频，没有考虑上下文的关系。
scikit-learn的CountVectorizer类来完成，这个类可以帮我们完成文本的词频统计与向量化：
from sklearn.feature_extraction.text import CountVectorizer
vectorizer = CountVectorizer()
corpus = ["I come to China to travel",
"This is a car polupar in China",
"I love tea and Apple ",
"The work is to write some papers in science"]
print('文档号及词频')
# (0,16) 1：0号文档，字典中16号词 ，频率1
doc = vectorizer.fit_transform(corpus)
print(doc)
print('文本词向量')
print(doc.toarray())
print('词典')
# I是停用词，自动过滤
print(vectorizer.get_feature_names())
#
文档号及词频
(0, 16) 1
(0, 3) 1
(0, 15) 2
(0, 4) 1
(1, 5) 1
(1, 9) 1
(1, 2) 1
(1, 6) 1
(1, 14) 1
(1, 3) 1
(2, 1) 1
(2, 0) 1
(2, 12) 1
(2, 7) 1
(3, 10) 1
(3, 8) 1
(3, 11) 1
(3, 18) 1
(3, 17) 1
(3, 13) 1
(3, 5) 1
(3, 6) 1
(3, 15) 1
文本词向量
[[0 0 0 1 1 0 0 0 0 0 0 0 0 0 0 2 1 0 0]
[0 0 1 1 0 1 1 0 0 1 0 0 0 0 1 0 0 0 0]
[1 1 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0]
[0 0 0 0 0 1 1 0 1 0 1 1 0 1 0 1 0 1 1]]
词典
['and', 'apple', 'car', 'china', 'come', 'in', 'is', 'love', 'papers', 'polupar', 'science', 'some', 'tea', 'the', 'this', 'to', 'travel', 'work', 'write']scikit-learn的HashingVectorizer类中，实现了基于signed hash trick的算法，其定义一个维度远小于词汇表的哈西维度，看作是降维，任意词哈西映射到一个位置，然后词频累加，有些不同的词会被累加在一起。结果里面有负数，这是因为哈希函数可以哈希到1或者-1导致的。和PCA类似，Hash Trick降维后的特征我们已经不知道它代表的特征名字和意义。此时不能知道每一列的意义，所以Hash Trick的解释性不强。
from sklearn.feature_extraction.text import HashingVectorizer
corpus = ["I come to China to travel",
"This is a car polupar in China",
"I love tea and Apple ",
"The work is to write some papers in science"]
vectorizer2 = HashingVectorizer(n_features=6, norm=None)
print(vectorizer2.fit_transform(corpus))
#
(0, 1) 2.0
(0, 2) -1.0
(0, 4) 1.0
(0, 5) -1.0
(1, 0) 1.0
(1, 1) 1.0
(1, 2) -1.0
(1, 5) -1.0
(2, 0) 2.0
(2, 5) -2.0
(3, 0) 0.0
(3, 1) 4.0
(3, 2) -1.0
(3, 3) 1.0
(3, 5) -1.05.词频-逆文本频率TF-IDF
出现频率大的词语，反而重要性不高，to,from，......。IDF来反应这个词的重要性，或者，反应一个词在所有文本中出现的频率，如果一个词在很多的文本中出现，那么它的IDF值应该低，如“to”。而反过来如果一个词在比较少的文本中出现，那么它的IDF值应该高。比如一些专业的名词如“Machine Learning”。这样的词IDF值应该高。
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.feature_extraction.text import CountVectorizer
corpus = ["I come to China to travel",
"This is a car polupar in China",
"I love tea and Apple ",
"The work is to write some papers in science"]
# 文本向量化
vectorizer = CountVectorizer()
# Tfidf转换器
transformer = TfidfTransformer()
# 处理向量化的文本为逆文本频率
tfidf = transformer.fit_transform(vectorizer.fit_transform(corpus))
print('词频', tfidf)
print('词典', vectorizer.get_feature_names())
# --------一步到位---------
from sklearn.feature_extraction.text import TfidfVectorizer
tfidf2 = TfidfVectorizer()
re = tfidf2.fit_transform(corpus)
print('词频', re)
print('词典', tfidf2.get_feature_names())6 中文分词流程
1.数据收集
在文本挖掘之前，我们需要得到文本语料库，需要自己爬取或者下载网站的公开语料库。
2.除去数据中非文本部分
这一步主要是针对我们用爬虫收集的语料数据，由于爬下来的内容中有很多html的一些标签，需要去掉。少量的非文本内容的可以直接用Python的正则表达式(re)删除, 复杂的则可以用beautifulsoup来去除。去除掉这些非文本的内容后，我们就可以进行真正的文本预处理了。
3. 处理中文编码问题
由于Python2不支持unicode的处理，因此我们使用Python2做中文文本预处理时需要遵循的原则是，存储数据都用utf8，读出来进行中文相关处理时，使用GBK之类的中文编码。
4. 中文分词
常用的中文分词软件有很多，jieba分词比较流行，pip install jieba。三步曲：分词后的文件，停用词列表，TFIDF转换
jieba分词：
import jieba
# 加入人工设定的人名，地名
jieba.suggest_freq('沙瑞金', True)
jieba.suggest_freq('易学习', True)
jieba.suggest_freq('王大路', True)
jieba.suggest_freq('京州', True)
with open('./nlp_test2.txt', encoding='utf-8') as f:
document = f.read()
document_decode = document.encode('utf-8')
# 全模式
# document_cut = jieba.cut(document_decode,cut_all=True)
# 精确模式
# document_cut = jieba.cut(document_decode, cut_all=False)
# 搜索引擎模式
document_cut = jieba.cut_for_search(document_decode)
result = ' '.join(document_cut)
result = result.encode('utf-8')
with open('./nlp_test3.txt', 'w') as f2:
f2.write(str(result, encoding='utf-8'))
利用分词后的文本，利用停用词，进行Tfidf转换：
# 读取分词文件
with open('./nlp_test1.txt') as f3:
res1 = f3.read()
with open('./nlp_test3.txt') as f4:
res2 = f4.read()
from sklearn.feature_extraction.text import TfidfVectorizer
# ===========分词文件============
corpus = [res1, res2]
# =========停用词表==========
stpwrdpath = 'stop_words.txt'
with open(stpwrdpath) as f5:
stpwrd_content = f5.read()
# 将停用词表转换为list
stpwrdlst = stpwrd_content.splitlines()
vector = TfidfVectorizer(stop_words=stpwrdlst)
tfidf = vector.fit_transform(corpus)
# print(tfidf)
wordlist = vector.get_feature_names() # 获取词袋模型中的所有词
# 文档数 X 词典数 矩阵
weightlist = tfidf.toarray()
num_doc = len(weightlist)
for i in range(num_doc):
print("-------第", i, "段文本的词语tf-idf权重------")
for j in range(len(wordlist)):
print('第', j, '个词', wordlist[j], weightlist[i][j])
#
-------第 0 段文本的词语tf-idf权重------
第 0 个词 一起 0.23276132724875156
第 1 个词 万块 0.23276132724875156
第 2 个词 三人 0.23276132724875156
第 52 个词 道口 0.11638066362437578
第 53 个词 金山 0.11638066362437578
第 54 个词 降职 0.11638066362437578
第 55 个词 风生水 0.11638066362437578
-------第 1 段文本的词语tf-idf权重------
第 0 个词 一起 0.0
第 1 个词 万块 0.0
第 2 个词 三人 0.0
第 3 个词 三套 0.14811780175932843
第 54 个词 降职 0.0
第 55 个词 风生水 0.0