一、将语料库转化为向量（gensim）
在对语料库进行基本的处理后（分词，去停用词），有时需要将它进行向量化，便于后续的工作。
from gensim import corpora,similarities,models import jieba #第一步：确定语料库的语料和要进行判断的句子： #wordlist作为语料库，语料库中有三句话，相当于三篇文章. wordlist=['我喜欢编程','我想变漂亮','今天吃午饭了吗'] sentenses='我喜欢什么' #第二步：使用语料库建立词典，也就是给预料库中的每个单词标上序号，类似：{'我'：1，'喜欢'：2，'编程'：3,....}首先进行中文分词 text=[[word for word in jieba.cut(words) ]for words in wordlist] dictionary = corpora.Dictionary(text) print(dictionary) #第三步，对语料中的每个词进行词频统计,doc2bow是对每一句话进行词频统计，传入的是一个list #corpus得到的是一个二维数组[[(0, 1), (1, 1), (2, 1)], [(3, 1), (4, 1)], [(5, 1), (6, 1), (7, 1), (8, 1), (9, 1)]]，意思是编号为0的词出现的频率是1次，编号为2的词出现的频率是1次 corpus=[dictionary.doc2bow(word) for word in text] print(corpus)#得到二维数组，最小元素为（词的ID号，词频）
代码结果为：
我们利用gensim.corpora.dictionary.Dictionary类为每个出现在语料库中的单词分配了一个独一无二的整数编号。这个操作收集了单词计数及其他相关的统计信息。在结尾，我们看到语料库中有10个不同的单词，这表明每个文档将会用10个数字表示
doc2bow函数主要用于让dic变为bow词袋模型，对每个不同单词的出现次数进行了计数，并将单词转换为其编号，然后以稀疏向量的形式返回结果。上述代码的corpus就是语料库的词袋模型，其中，每一个子列表都表示一篇文章。
前面有说TFIDF可以用来做关键词提取，因为它认为tfidf值越大的词就越能够体现它对这篇文章的重要性。但TF-IDF也可用于查找相似文章、对文章进行摘要提取、特征选择（重要特征的提取）工作。如果说接下来是要对sentenses和语料库的三篇文章进行相似度比较的话，接下来的代码为：
#第四步：使用corpus训练tfidf模型 model=models.TfidfModel(corpus) #要是想要看tfidf的值的话可以: tfidf=model[corpus] ''' tfidf的结果是语料库中每个词的tfidf值 [(0, 0.5773502691896258), (1, 0.5773502691896258), (2, 0.5773502691896258)] [(3, 0.7071067811865475), (4, 0.7071067811865475)] [(5, 0.4472135954999579), (6, 0.4472135954999579), (7, 0.4472135954999579), (8, 0.4472135954999579), (9, 0.4472135954999579)] ''' #第五步：为tfidf模型中的每个句子建立索引，便于进行相似度查询,传入的时候语料库的tfidf值 similarity=similarities.MatrixSimilarity(tfidf) #第六步，处理要比较的句子，首先分词，其次获得词频，jieba只能传入字符串 sen=[word for word in jieba.cut(sentenses)] sen2=dictionary.doc2bow(sen) #然后计算它的tfidf值 sen_tfidf=model[sen2] #获得与所有句子的相似度，sim输出的是一个数组 sim=similarity[sen_tfidf]
https://blog.csdn.net/Lau_Sen/article/details/80436819
代码中的tfidf，和sen_tfidf结果分别是语料库和新句子的tfidf向量化表示。很多模型就是基于tf-idf来做的，比如lsi，lda等。
现在每个句子就变成了[(词id号，idf值)，(词id号，idf值)....]这样的稀疏表示形式。