原文：
https://www.jianshu.com/p/cb978743f4d4
判断文本的相似度在很多地方很有用，比如在爬虫中判断多篇已爬取的文章是否相似，只对不同文章进一步处理可以大大提高效率。
在Python中，可以使用gensim模块来判断长篇文章的相似度。点这里进官网
官方的文档部分内容实在太含糊了，网上也找不到很有用的文章，所以我现在写下来记录一下自己的踩坑史。
实际中我用的是数据库抽取的批量文章，所以就不放上来了，只讲代码本身使用。
假定最初给定的格式是内容为(content_id, content)的cur数据库游标。
初步处理
在使用gensim模块之前，要对爬取的文章做一些清洗：
del_words = {
'编辑', '责编', '免责声明', '记者 ', '摘要 ', '风险自担', '扫码下载', '（原题为', '依法追究', '严正声明',
'关键词 ', '原标题', '原文', '概不承担', '转载自', '来源：', '仅做参考', '仅供参考', '未经授权',
'禁止转载', '阅后点赞', '研究员：', '本文首发', '微信公众号', '个人观点', '蓝字关注', '微信号：', '欢迎订阅', '点击右上角分享', '加入我们'
}
def filter_words(sentences):
'''
过滤文章中包含无用词的整条语句
:sentences list[str]
:return list[str]
'''
text = []
for sentence in sentences:
if sentence.strip() and not [word for word in del_words if word in sentence]:
text.append(sentence.strip())
return text
contents = []
for id_, content in cur:
sentences = content.split('。')
contents.append('。'.join(filter_words(sentences)).strip())
上面的代码中，sentences是文章的每句话构成的列表，如果爬取的结果仅仅是纯文字的全文，就可以简单的使用content.split('。')得到。
如果是使用readability模块得到的含html标签的全文，还需通过lxml转化再xpath提取纯文字的全文。
分词过滤
然后，用jieba模块进行分词并去掉无用词
from jieba import posseg as pseg
def tokenization(content):
'''
{标点符号、连词、助词、副词、介词、时语素、‘的’、数词、方位词、代词}
{'x', 'c', 'u', 'd', 'p', 't', 'uj', 'm', 'f', 'r'}
去除文章中特定词性的词
:content str
:return list[str]
'''
stop_flags = {'x', 'c', 'u', 'd', 'p', 't', 'uj', 'm', 'f', 'r'}
stop_words = {'nbsp', '\u3000', '\xa0'}
words = pseg.cut(content)
return [word for word, flag in words if flag not in stop_flags and word not in stop_words]
texts = [tokenization(content) for id_, content in contents]
相似度判断
到重头戏了。
导入要使用的模块：
from gensim import corpora, models, similarities
为了把文章转化成向量表示，这里使用词袋表示，具体来说就是每个词出现的次数。连接词和次数就用字典表示。然后，用doc2bow()函数统计词语的出现次数。
dictionary = corpora.Dictionary(texts)
corpus = [dictionary.doc2bow(text) for text in texts]
准备需要对比相似度的文章
new_doc = contents[0][0] # 假定用contents的第1篇文章对比，由于contents每个元素由id和content组成，所以是contents[0][0]
new_vec = dic.doc2bow(tokenization(new_doc))
然后，官方文档给的初步例子是tf-idf模型：
tfidf = models.TfidfModel(corpus) # 建立tf-idf模型
index = similarities.MatrixSimilarity(tfidf[corpus], num_features=12) # 对整个语料库进行转换并编入索引，准备相似性查询
sims = index[tfidf[new_vec]] # 查询每个文档的相似度
print(list(enumerate(sims)))
# [(0, 1.0), (1, 0.19139354), (2, 0.24600551), (3, 0.82094586), (4, 0.0), (5, 0.0), (6, 0.0), (7, 0.0), (8, 0.0)]
上面的结果中，每个值由编号和相似度组成，例如，编号为0的文章与第1篇文章相似度为100%。
以上就是通过官方文档的入门示例判断中文文本相似度的基本代码，由于某些原因，结果可能为负值或大于1，暂且忽略，这不是重点。
这个例子中，num_features的取值需要注意，官方文档没有解释为什么是12，在大批量的判断时还使用12就会报错。实际上应该是num_features=len(dictionary)
此外，这个模型的准确度实在是令人堪忧，不知道为什么官方使用这个模型作为入门示例，浅尝辄止的话，可能就误以为现在的技术还达不到令人满意的程度。
下面我们换成lsi模型，实际体验表现很好
lsi = models.LsiModel(corpus, id2word=dic, num_topics=500)
index = similarities.MatrixSimilarity(lsi[corpus])
sims = index[lsi[new_vec]]
res = list(enumerate(sims))
其实只是换了模型名称而已，但还要注意几个点：
- 官方文档中
LsiModel()参数用的是tfidf[corpus]，实测会导致部分结果不对。 - 官方文档中最初用的
num_topics=2，后面又介绍了这个值最好在200-500之间即可。
好了。到这里，初步的相似度判断就完毕了。如果想要更好的显示结果，例如按相似度排序，可以使用lambda语法
res = list(enumerate(sims))
res = sorted(res, key=lambda x: x[1])
print(res)
但是这样也有问题，这只能判断单篇的结果，其他文章再对比的话，要用for循环一篇篇对比吗？
此外，显然这个方法是把文章都存在内存中，如果文章很多，每篇又很长，很容易挤爆内存。
众所周知，Python的for循环效率很低。所以，不要这样做。gensim提供了一个类，来本地化存储所有文章并直接互相对比，这也是我真正最后使用的方法。
点击原文
原文很多地方云里雾里的，比如最基础的这个similarities.Similarity类的参数，get_tmpfile("index")是什么都没讲。
实际使用相当简单：
# 'index'只是把文章存储到本地后的文件名，所以可以随便命名，结果存储的文件名是index.0，不是文本文件，无法直接查看
index = similarities.Similarity('index', lsi[corpus], num_features=lsi.num_topics)
for i in enumerate(index):
print(i) # 输出对整组的相似度
# 或者，直接输出文章id分组
# percentage是相似度，可以手动设置0.9代表把90%相似度以上的输出为1组等
for l, degrees in enumerate(index):
print(contents[l][0], [contents[i][0] for i, similarity in enumerate(degrees) if similarity >= percentage])
对比原文，注意到num_features的值不一样。原文给定的是num_features=len(dictionary)，在实际使用中，碰到大量文章时会出错：
mismatch between supplied and computed number of non-zeros
google之，在这里得到的经验，应该使用num_features=lsi.num_topics。文档给出的示例是tf-idf模型下的结果，在lsi模型下就因为传递的数据不对而可能出错。
*似乎仍然会出错，用tfidf模型转换能避免这个错误。准确率就下去了。
锦上添花：用flask做post接口
在服务器上接受post请求来运行就更加易用了，简单起见用flask作一段代码示例
from flask import Flask, request
app = Flask(__name__)
@app.route('/similar', methods=['POST'])
def similar_lst():
if request.method == 'POST':
ids = request.form.get('ids')
ids = [int(i.strip()) for i in ids.split(',')]
if ids:
percentage = float(request.form.get('percentage'))
contents = get_content(ids) # 包含从数据库获取id对应的文章代码，上面省略了
res = similar(contents, percentage)
return json.dumps(res)
if __name__ == '__main__':
# main()
app.run(host='0.0.0.0', port=80)
代码中的部分函数也就是上面介绍的代码本身，只是省略了通过批量id从数据库获取contents列表的部分。
在远端运行后，本地请求可以像这样
import requests
ids = '1, 2, 3'
data = {'ids': ids, 'percentage': 0.95}
url = 'http://IP:80/similar' # 远端的IP地址
r = requests.post(url, data=data)
for k, v in r.json().items():
print(k, v)
来查看结果。
最后
这篇文章只是完成了一个文本判断的雏形，算是可以使用的地步而已，还可以对停用词做文件配置等来进一步优化处理。