文件完整性测试的解决思路和案例

简介:md5sum是一个在Unix和Unix-like操作系统下计算和校验文件MD5值的工具。它主要用于确保文件的完整性。MD5是一种常用的哈希函数,它可以生成一个固定长度(128位)的哈希值。在文件校验的场景中,我们可以通过比较文件的MD5哈希值来检查文件在传输或存储过程中是否被更改。

历史攻略:

Linux:快速创建大文件

python:第三方库大全

安装:在大多数Linux发行版中,md5sum工具是预装的,所以你可能不需要单独安装它。你可以通过输入以下命令来检查 md5sum 是否已经安装:

md5sum --version

Debian的系统(如Ubuntu),使用apt命令:

sudo apt-get install coreutils

对于基于Red Hat的系统(如Fedora或CentOS),使用yum命令:

sudo yum install coreutils

md5sum 的使用步骤:filename 是文件的名称。这条命令会输出一个 MD5 校验和,这是文件内容的唯一表示。

md5sum filename

获取了新的文件后(例如下载后的文件),再次计算文件的 MD5 校验和,然后与原始的 MD5 校验和进行比较。如果两个校验和相同,那么文件没有被更改。如果校验和不同,那么文件可能在传输或存储过程中被更改。

注意事项:MD5不适用于需要高度安全性的场景,因为它已被证明存在碰撞问题(即不同的输入可能会产生相同的输出)。如果你需要更高的安全性,可以考虑使用SHA-256等更安全的哈希函数。

案例:通过检查,我们发现前后hash均为a981130cf2b7e09f4686dc273cf7187e ,即完全上传下载传输过后,文件是完整的

(base) [root@572ysx2s check-file-size]# fallocate -l 2G myfile-01.img  # 创建一个文件
(base) [root@572ysx2s check-file-size]# ls -lh  # 查看文件大小
total 2.1G
-rw-r--r-- 1 root root 2.0G Jun  1 10:30 myfile-01.img
(base) [root@572ysx2s check-file-size]# 
(base) [root@572ysx2s check-file-size]# md5sum myfile-01.img  # 通过md5sum 查看文件hash
a981130cf2b7e09f4686dc273cf7187e  myfile-01.img

# 注:上传这个文件,此处忽略

(base) [root@ci4vyvxi572ysx2s check-file-size]# cp -r myfile-01.img myfile-02.img  # 拷贝、远程拷贝或者下载这个文件。
(base) [root@572ysx2s check-file-size]# md5sum myfile-02.img  # 再次通过md5sum 查看文件hash 
a981130cf2b7e09f4686dc273cf7187e  myfile-02.img

扩展案例:校验某路径下全部文件和完整性。处理某个路径下全部文件的大小和完整性,你可以遍历目标路径下的所有文件,并分别计算它们的大小和哈希值。以下是在 Linux 和 Python 中实现此任务的示例:

Linux案例:使用 find、du 和 md5sum 命令,可以很容易地在一个目录中递归地查找所有文件,计算它们的大小和 MD5 哈希值。

示例脚本:

find /path/to/directory -type f -exec du -sh {
    
    } \; -exec md5sum {
    
    } \;

在这个脚本中:

find /path/to/directory -type f 命令会查找指定目录中的所有文件(不包括目录)。

-exec du -sh {} ; 会对每个文件执行 du -sh 命令,计算文件的大小。

-exec md5sum {} ; 会对每个文件执行 md5sum 命令,计算文件的 MD5 哈希值。

Python案例:使用 os 和 hashlib 模块来实现此任务。

示例脚本:

# -*- coding: utf-8 -*-
# time: 2023/6/1 14:00
# file: test.py
# 公众号: 玩转测试开发

import os
import hashlib


def get_file_md5(file_path):
    md5_hash = hashlib.md5()
    with open(file_path, "rb") as f:
        for byte_block in iter(lambda: f.read(4096),b""):
            md5_hash.update(byte_block)
    return md5_hash.hexdigest()


def get_file_size(file_path):
    return os.path.getsize(file_path)


def process_directory(directory_path):
    for root, dirs, files in os.walk(directory_path):
        for file in files:
            file_path = os.path.join(root, file)
            file_size = get_file_size(file_path)
            file_md5 = get_file_md5(file_path)
            print(f"File: {
      
      file_path}\nSize: {
      
      file_size} bytes\nMD5: {
      
      file_md5}\n")


directory_path = "/path/to/directory"
process_directory(directory_path)

在这个脚本中:

os.walk(directory_path) 函数递归地遍历指定目录的所有文件和子目录。

对于每个文件,脚本会计算文件的大小和 MD5 哈希值,并打印结果。

猜你喜欢

转载自blog.csdn.net/hzblucky1314/article/details/130987210