【哈希算法(上)】:如何防止数据库中的用户信息被脱库?

网站是怎么存储用户的密码这些重要数据的呢,仅仅 MD5 加密一下存储就够了吗?

哈希算法历史悠久,业界著名的哈希算法也很多,比如MD5、SHA等。在我们平时的开发中,基本上都是拿现成的直接用。今天不会重点剖析哈希算法的原理,也不会教你如何设计一个哈希算法,而是从实战角度告诉你,在实际开发中,我们该如何用哈希算法解决问题。


什么是哈希算法?

我们前面讲到的“散列表”、“散列函数”,这里又讲到“哈希算法”,你是不是有点一头雾水?实际上,它们的英文就是“Hash”,只是中文翻译的差别。

什么是哈希算法,用一句话就可以概括了。将任意长度的二进制值串映射为固定长度的二进制值串,这个映射规则就是哈希算法,而通过原始数据映射之后得到的二进制值串就是哈希值。但是,要设计一个优秀的哈希算法并不容易,我了需要满足的几点要求:

  • 从哈希值不能反向推导出原始数据(所以哈希算法也叫单向哈希算法);
  • 对输入数据非常敏感,哪怕原始数据只修改了一个Bit,最后得到的哈希值也大不相同;
  • 散列冲突的概率要很小,对于不同的原始数据,哈希值相同的概率非常小;
  • 哈希算法的执行效率尽量高效,针对较长的文本,也能快速计算出哈希值。

我们以 MD5 哈希来验证一下上面的结论。给出两个文本 “今天我来讲哈希算法” 和 “jiajia”,我们可以分别得到他们的哈希值。 MD5 的哈希值是 128 位的 Bit 长度,这里我们将其转化为了十六进制编码。

MD5("今天我来讲哈希算法") = bb4767201ad42c74e650c1b6c03d78fa
MD5("jiajia") = cd611a31ea969b908932d44d126d195b

可以看到,无论要哈希的文本有多长、多短,通过 MD5 哈希之后,得到的哈希值的长度都是相同的,而且得到的哈希值看起来像一堆随机数,完全没有规律。

再来看两个非常相似的文本, “我今天讲哈希算法!” 和 “我今天讲哈希算法”。虽然这两个文本只有一个感叹号的区别,但它们的哈希值也是完全不同的。

MD5("我今天讲哈希算法!") = 425f0d5a917188d2c3c3dc85b5e4f2cb
MD5("我今天讲哈希算法 ") = a1fb91ac128e6aa37fe42c663971ac3d

同样,我们也很难通过哈希值 “a1fb91ac128e6aa37fe42c663971ac3d” 反推出对应的文本 “我今天讲哈希算法”。

此外,对于非常长的文本,如果哈希算法的计算时间很长,那就只能停留在理论研究的层面,很难应用到实际的软件开发中。比如,一篇包含 4000 字的文章,用 MD5 计算哈希值,也用不了 1ms 的时间。

哈希算法的应用非常多,最常见的有:安全加密、唯一标识、数据校验、散列函数、负载均衡、数据分片、分布式存储等


应用一:安全加密

最常用于加密的的哈希算法是 MD5 (MD5 Message-Digest Algorithm,MD5 消息摘要算法)和 SHA (Secure Hash Algorithm,安全散列算法),此外,还有 DES(Data Encryption Standard,数据加密标准)、AES(Advanced Encryption Standard,高级加密标准)。

对于用于加密的哈希算法来说,有两点格外重要。第一点是很难根据哈希值反向推导出原始数据,这正是我们加密的目的。第二就是散列冲突的概率要很小,然而,实际上,不管是什么哈希算法,我们只能做到尽量减少碰撞冲突的概率,理论上是没办法做到完全不冲突的。

鸽巢原理,也就抽屉原理,就是说,如果有 10 个鸽巢,有 11 只鸽子,那肯定有两个鸽子在同一个鸽巢内。

哈希算法产生的哈希值的长度是固定且有限的,因此,其能表示的数据是有效的,而我们要哈希的数据是无穷的,就必然会存在哈希值相同的情况。一般情况下,哈希值越长的哈希算法,散列冲突的概率越低。

如下这两段字符串经过 MD5 哈希算法加密之后,产生的哈希值就是相同的。

不过,即便哈希算法存在散列冲突的情况,但是因为哈希值的范围很大,冲突的概率极小,所以相对来说还是很难破解的。

除此之外,没有绝对安全的加密。越复杂、越难破解的加密算法,需要的计算时间也就越长。我们在实际的开发中,也需要权衡破解难度和计算时间,来决定究竟使用哪种加密算法。


应用二:唯一标识

如果要在海量的图库中搜索一张图是否存在,我们不能单纯地用图片的元信息(比如图片名称)来比对,因为有可能存在名称相同但图片内容不同,或者名称不同而图片内容相同的情况。

我们知道,任何文件在计算中都可以表示成二进制码串。因此,一种方法就是直接将要查找图片的二进制码串与图库中所有图片的二进制码串一一比对,但这样的比对显然非常耗时。

我们可以给每一个图片取一个唯一标识,或者说信息摘要。比如,我们可以从图片的二进制码串开头取 100 个字节,中间取 100 个字节,结尾再取 100 个字节,然后放在一起通过哈希算法得到一个哈希值,作为图片的唯一标识。通过这个唯一标识来判定图片是否在图库中,就可以减少很多工作量。

如果还想继续提高效率,我们可以把每一个图片的唯一标识和相应的图片文件在图库中的路径信息,都存储在散列表中。当要查看某个图片是不是在图库中的时候,我们先通过哈希算法对这个图片做唯一标识,然后在散列表中查找是否存在这个标识。

如果不存在,说明图片不在图库中;如果存在,我们再通过散列表中存储的文件路径作进一步的对比看是否完全一样。如果一样,就说明图片已经存在;如果不一样,说明两张图片尽管唯一标识相同,但并不是相同的图片。


应用三:数据校验

BT 下载的原理是基于 P2P 协议的,我们从多个机器上并行下载一个 2GB 的电影,这个电影可能会被分割成很多文件块(比如 100 块)。等所有文件块都下载完成后,再组装成一个完整的电影文件就行了。

但是,网络传输是不安全的,下载的文件块可能是被宿主机器恶意修改过的,又或者下载过程中出了错误,所以下载的文件块可能是不完整的。如果我们没有能力检测这种恶意修改或者文件下载出错,就会导致最后合并后的电影无法观看,甚至导致电脑中毒。

这时候,我们可以通过哈希算法,对 100 个文件分别取哈希值,并且保存在种子文件中。这样,只要文件块的内容有一丁点的改变,最后计算出来的哈希值就会完全不同。我们就可以通过比对两次的哈希值来确定文件是否是完全正确的。


应用四:散列函数

散列函数是设计一个散列表的关键,它直接决定了散列冲突的概率和散列表的性能。不过,相对哈希算法的其他应用,散列函数对于散列算法冲突的要求要低很多。即便出现个别散列冲突,只要不是过于严重,我们都可以通过开放寻址或者链表法来解决。

不仅如此,散列函数对于散列算法计算得到的值,是否能反向解密也并不关心。散列函数中用到的散列算法,更加关注散列后的值能否平均分布,也就是说,一组数据是否能均匀地散列在各个槽中。

此外,散列函数的快慢,也会影响散列表的性能,所以,散列函数用的散列算法一般都比较简单,比较追求效率。


解答开篇

散列函数是设计一个散列表的关键,它直接决定了散列冲突的概率和散列表的性能。不过,相对哈希算法的其他应用,散列函数对于散列算法冲突的要求要低很多。即便出现个别散列冲突,只要不是过于严重,我们都可以通过开放寻址或者链表法来解决。

不仅如此,散列函数对于散列算法计算得到的值,是否能反向解密也并不关心。散列函数中用到的散列算法,更加关注散列后的值能否平均分布,也就是说,一组数据是否能均匀地散列在各个槽中。

此外,散列函数的快慢,也会影响散列表的性能,所以,散列函数用的散列算法一般都比较简单,比较追求效率。


内容小结

第一个应用是唯一标识,哈希算法可以对大数据做信息摘要,通过一个较短的二进制编码来表示很大的数据。

第二个应用是校验数据的完整性和正确性。

第三个应用是安全加密,我们讲到任何哈希算法都会出现散列冲突,但是这个冲突的概率非常小。越是复杂的哈希算法越难破解,但同样计算时间也就越长。所以,选择哈希算法的时候,要权衡安全性和计算时间来决定用哪种哈希算法。

第四个应用是散列函数,这个我们前面讲散列表的时候详细说过,它对哈希算法的要求非常特别,更加看重的是散列的平均性和哈希算法的执行效率。
 


区块链是一块块区块组成的,每个区块分为两部分:区块头和区块体。

区块头保存着 自己区块体 和 上一个区块头 的哈希值。

因为这种链式关系和哈希值的唯一性,只要区块链上任意一个区块被修改过,后面所有区块保存的哈希值就不对了。

区块链使用的是 SHA256 哈希算法,计算哈希值非常耗时,如果要篡改一个区块,就必须重新计算该区块后面所有的区块的哈希值,短时间内几乎不可能做到。

除了hash+salt,现在大多公司都采用无论密码长度多少,计算字符串hash时间都固定或者足够慢的算法如PBKDF2WithHmacSHA1,来降低硬件计算hash速度,减少不同长度字符串计算hash所需时间不一样而泄漏字符串长度信息,进一步减少风险。

加salt,也可理解为为密码加点佐料后再进行hash运算。比如原密码是123456,不加盐的情况加密后假设是是xyz。 黑客拿到脱机的数据后,通过彩虹表匹配可以轻松破解常用密码。如果加盐,密码123456加盐后可能是12ng34qq56zz,再对加盐后的密码进行hash后值就与原密码hash后的值完全不同了。而且加盐的方式有很多种,可以是在头部加,可以在尾部加,还可在内容中间加,甚至加的盐还可以是随机的。这样即使用户使用的是最常用的密码,黑客拿到密文后破解的难度也很高。

数字签名技术是将摘要信息用发送者的私钥加密,与原文一起传送给接收者。接收者只有用发送者的公钥才能解密被加密的摘要信息,然后用HASH函数对收到的原文产生一个摘要信息,与解密的摘要信息对比。如果相同,则说明收到的信息是完整的,在传输过程中没有被修改,否则说明信息被修改过,因此数字签名能够验证信息的完整性。

数字签名是个加密的过程,数字签名验证是个解密的过程。

猜你喜欢

转载自blog.csdn.net/qq_25800311/article/details/89598787