文本相似去重 SimHash

前言

SimHash是Google在2007年发表的论文《Detecting Near-Duplicates for Web Crawling》中提到的一种指纹生成算法或者叫指纹提取算法，被Google广泛应用在亿级的网页去重的Job中，作为Locality Sensitive Hash（局部敏感哈希）的一种，其主要思想是降维。

原理

步骤	说明
分词	从Doc中抽取多个关键词，与对应计算权重组成键值对，如（关键词，权重）。
哈希	将关键词哈希，与对应计算权重组成键值对，如（Hash，权重）。
逐位处理	$1,0, 0,1,1,0 × w = w,-w,-w,w,w,-w$逐位相乘，如果哈希值为1则为正数，为0则为负数。
按位相加	$1,0, 0,1,1,0+1,1,0,0,0,0=2,1,0,1,1,0$，按位相加。

之后，就是使用海明距离来计算两者之间的相似度。海明距离通过两个字符串通过逐位异或运算A xor B之后的累加最后的结果得出。比如： $1,1,1,1,0$和 $0,0,0,0,1$的海明距离为0。

优势

使用降维处理，大大降低了比较的次数，提高了计算的效率。

附录

• simhash算法原理及实现-拖鞋
• 海量数据去重之SimHash算法简介和应用 - 三劫散仙 - CSDN博客
• 海量数据去重之SimHash算法简介和应用 - ITeye博客
• 我的数学之美系列二 —— simhash与重复信息识别 - 让机器理解图像 - ITeye博客
• simHash海量文本去重 - 简书

实现

• scrapinghub/python-simhash: An efficient simhash implementation for python
• seomoz/simhash-py: Simhash and near-duplicate detection
• A Python Implementation of Simhash Algorithm - Next Spaceship