【python 走进NLP】文本相似度各种距离计算

计算文本相似度有什么用？

1、反垃圾文本的捞取
“诚聘淘宝兼职”、“诚聘打字员”…这样的小广告满天飞，作为网站或者APP的运营者，不可能手动将所有的广告文本放入屏蔽名单里，挑几个典型广告文本，与它满足一定相似度就进行屏蔽。

2、推荐系统
在微博和各大BBS上，每一篇文章/帖子的下面都有一个推荐阅读，那就是根据一定算法计算出来的相似文章。

3、冗余过滤
我们每天接触过量的信息，信息之间存在大量的重复，相似度可以帮我们删除这些重复内容，比如，大量相似新闻的过滤筛选。

总结：
对垃圾文本（比如小广告）进行批量屏蔽；
对大量重复信息（比如新闻）进行删减；
对感兴趣的相似文章进行推荐，等等。
信息检索，搜索引擎

主要内容：

1. 余弦相似度
2. 欧氏距离
3. 曼哈顿距离
4. 切比雪夫距离
5. 杰尔德距离
6. 汉明距离
7. 标准化欧式距离
8. 皮尔逊相关系数

# -*- coding:utf-8 -*-


import numpy as np
from scipy.spatial.distance import pdist



# 余弦相似度
def cos_dist(vec1,vec2):
    """
    :param vec1: 向量1
    :param vec2: 向量2
    :return: 返回两个向量的余弦相似度
    """
    dist1=float(np.dot(vec1,vec2)/(np.linalg.norm(vec1)*np.linalg.norm(vec2)))
    return dist1

# 欧氏距离

def euc_dist(vec1,vec2):
    """
    :param vec1: 向量1
    :param vec2: 向量2
    :return: 返回两个向量的欧式距离
    """
    vec1=np.mat(vec1)
    vec2=np.mat(vec2)
    dist1=float(np.sqrt(np.sum(np.square(vec1-vec2))))
    return dist1


# 曼哈顿距离

def mah_dist(vec1,vec2):
    """
    :param vec1: 向量1
    :param vec2: 向量2
    :return: 返回两个向量的曼哈顿距离
    """
    vec1=np.mat(vec1)
    vec2=np.mat(vec2)
    dist1=float(np.sum(np.abs(vec1-vec2)))
    return dist1



# 切比雪夫距离
def cheb_dist(vec1,vec2):
    """
    :param vec1: 向量1
    :param vec2: 向量2
    :return: 返回两个向量的切比雪夫距离
    """
    vec1=np.mat(vec1)
    vec2=np.mat(vec2)
    dist1=float(np.max(np.abs(vec1-vec2)))
    return dist1


# 杰尔德距离
def yac_dist(vec1,vec2):
    """
    :param vec1: 向量1
    :param vec2: 向量2
    :return: 返回两个向量的杰尔德距离
    """
    Vec=np.vstack([vec1,vec2])
    dist1=pdist(Vec,'jaccard')
    return dist1[0]


# 汉明距离

def han_dist(vec1,vec2):
    """
        :param vec1: 向量1
        :param vec2: 向量2
        :return: 返回两个向量的汉明距离
        """
    Vec = np.vstack([vec1, vec2])
    dist1 = pdist(Vec, 'hamming')
    return dist1[0]*len(vec1)


# 标准化欧式距离

def se_euc_dist(vec1,vec2):
    """
    :param vec1: 向量1
    :param vec2: 向量2
    :return: 返回两个向量的标准化欧式距离
    """
    Vec = np.vstack([vec1, vec2])
    dist1= pdist(Vec, 'seuclidean')
    return dist1[0]



# 皮尔逊相关系数
def corrcoef_dist(vec1,vec2):
    """
    :param vec1: 向量1
    :param vec2: 向量2
    :return: 返回两个向量的皮尔逊相关系数
    """
    Vec = np.vstack([vec1, vec2])
    dist1=np.corrcoef(Vec)[0][1]
    return dist1



if __name__ == '__main__':

    vec1=[1,2,3,4]
    vec2=[5,6,7,8]

    dist1=cos_dist(vec1,vec2)
    print("余弦相似度：%s"  %dist1)

    dist1=euc_dist(vec1,vec2)
    print("欧氏距离：%s"  %dist1)

    dist1=mah_dist(vec1,vec2)
    print("曼哈顿距离：%s"  %dist1)

    dist1=cheb_dist(vec1,vec2)
    print("切比雪夫距离：%s"  %dist1)

    dist1=yac_dist(vec1,vec2)
    print("杰尔德距离：%s"  %dist1)

    dist1=han_dist(vec1,vec2)
    print("汉明距离：%s"  %dist1)

    dist1=se_euc_dist(vec1,vec2)
    print("标准化欧氏距离：%s"  %dist1)

    dist1=corrcoef_dist(vec1,vec2)
    print("皮尔逊相关系数：%s" %dist1)

运行结果：

余弦相似度：0.9688639316269662
欧氏距离：8.0
曼哈顿距离：16.0
切比雪夫距离：4.0
杰尔德距离：1.0
汉明距离：4.0
标准化欧氏距离：2.8284271247461903
皮尔逊相关系数：1.0

Process finished with exit code 0

除了scipy 包可以计算距离和相似度，sklearn 包当然也可以计算相似度，更简单方便。举个余弦夹角相似度的例子。

# -*- encoding=utf-8 -*-


from sklearn.metrics.pairwise import pairwise_distances


a=[[1,2,3,4],[5,6,7,8]]

# 余弦夹角相似度
cosine=pairwise_distances(a,metric='cosine')
cosine_similarity=1-cosine[0,1]
print("余弦相似度：%s" % cosine_similarity)

运行结果和上面是一样的

余弦相似度：0.9688639316269662

Process finished with exit code 0

【python 走进NLP】文本相似度各种距离计算

猜你喜欢