算法 # SimHash 算法:文本相似度、文本去重、海量文本快速查询

SimHash

SimHash 是 Google 发明的海量网页去重的高效算法,将原始的文本映射为 64 位的二进制串,然后通过比较二进制的差异进而表示原始文本内容的差异。
传统的 Hash 算法只负责将原始内容尽量均匀随机地映射为一个 hash 值,原理上相当于伪随机数产生算法。SimHash 本身属于一种局部敏感哈希算法,产生的 hash 签名在一定程度上可以表征原内容的相似度。

SimHash算法分为5个步骤:分词、hash、加权、合并、降维。


100101 =》 加权(4)=》4 -4 -4 4 -4 4 (对于0这里是当-1用,不是传统意义上的0)
合并就是所有词求和,降维就是 >0 记1,<0 记0。

关于权重:暴力的权重策略就是对所有的词编号即可,但这个编号顺序用一些策略优化或许可以起到更好的效果。

文本相似度

海明距离: 两个码字的对应比特取值不同的比特数称为这两个码字的海明距离。一个有效编码集中, 任意两个码字的海明距离的最小值称为该编码集的海明距离

对每篇文档根据 SimHash 算出签名后,再计算两个签名的海明距离(两个二进制异或

猜你喜欢

转载自blog.csdn.net/qq_33583069/article/details/129258558