Kdump 原理分析及场景案例分析
Kdump 原理分析及场景案例分析
一、引言
Kdump 是一种在 Linux 系统崩溃时用来转储内存运行参数的工具和服务。自 2005 年引入以来，Kdump 已成为内核崩溃转储机制中最可靠的方法，被主要的 Linux 发行版广泛采用。在系统崩溃、死锁或死机时，Kdump 可以捕获内存中的数据，并生成崩溃转储文件，这些文件对于分析和诊断系统问题至关重要。
二、Kdump 相关名词定义
在深入了解 Kdump 的实现和使用之前，需要了解一些相关名词：
- 生产内核（Production Kernel）：第一个运行的内核，正常情况下系统所运行的内核。
- 捕获内核（Capture Kernel）：系统异常时启动的第二个内核，用于对生产内核下的内存进行收集和转存。
- Ramdisk：将一段内存假设为一个硬盘驱动器。使用 ramdisk 作为文件系统可以大幅提高读写速度。
- ELF 文件：内核分析出内存的使用和分布情况后，将这些信息综合生成一个 ELF 头文件保存起来。
三、Kdump 实现原理
Kdump 的实现可以分为两个部分：内核和用户工具。内核提供机制，用户工具在这些机制上实现各种转储策略。Kdump 的核心机制依赖于 kexec，它允许通过已经运行的内核的上下文启动另一个 Linux 内核，而无需经过 BIOS 重新启动。
3.1 Kexec 机制
Kexec 是 Kdump 实现的基础，它包括两个组成部分：
- 内核空间的系统调用
kexec_load()：用于在生产内核启动时将捕获内核加载到指定地址。 - 用户空间的工具
kexec-tools：将捕获内核的地址传递给生产内核，从而在系统崩溃时能够找到并启动捕获内核。
kexec_load() 系统调用主要用来将另一个内核及其 ramdisk 加载到当前内核中。在 Kdump 中，捕获内核只能使用预留的一小段内存，生产内核的内存镜像会以 /proc/vmcore 的形式提供给用户。
3.2 Kdump 机制
Kdump 机制的实现需要两个不同的内核：生产内核和捕获内核。生产内核是捕获内核服务的对象，当生产内核崩溃时，捕获内核会启动并收集生产内核的内存信息。
- 生产内核：保留一部分内存给捕获内核启动使用。由于 Kdump 利用 kexec 启动捕获内核，绕过了 BIOS，生产内核的内存得以保留。
- 捕获内核：在系统崩溃时启动，与相应的 ramdisk 组成一个微环境，用以收集和转存生产内核下的内存。
为了顺利启动捕获内核，捕获内核及其 ramdisk 需要预先放到生产内核的内存中。生产内核的内存通过 /proc/vmcore 文件交给捕获内核。捕获内核被引导时会传递 ELF 文件头的地址，通过分析它，捕获内核可以生成 /proc/vmcore 文件。捕获内核的 ramdisk 中的脚本可以通过文件读写和网络实现各种转储策略。
四、Kexec 和 Kdump 的设计区别
Kexec 的设计目的是通过覆盖原内核位置启动新内核，而 Kdump 的设计是预留一块内存加载第二个内核及相关数据。在系统崩溃后，第二个内核在原位置运行，收集第一个内核的相关内存信息。
五、Kdump 的应用场景
Kdump 可以用于各种系统崩溃场景的诊断，例如：
- 系统崩溃时无法记录异常信息。
- 驱动程序导致系统无响应。
- 突然系统没有响应但 CPU、内存、负载和流量均正常。
六、使用 Kdump 的目的
- 了解内核崩溃的大致原因。
- 对内核崩溃的原因进行详细分析。
七、Kdump 的执行流程
- 生产内核：正常运行。
- 系统异常：触发崩溃（例如通过 sysrq 模拟）。
- 捕获内核：系统调用
machine_kexec()启动捕获内核，传递 ELF 头文件的地址。 - 生成 vmcore 文件：捕获内核生成
/proc/vmcore文件。 - 数据收集和转存：捕获内核的 ramdisk 脚本将
/proc/vmcore文件中的数据进行收集和转存。
八、分析工具
分析工具如 gdb、crash 等可以用于对生成的 vmcore 文件进行分析。
8.1 使用 crash 工具分析 vmcore 文件
crash 是一个强大的分析工具，专门用于内核崩溃转储文件的调试和分析。
安装 crash 工具
sudo yum install crash
使用 crash 工具加载 vmcore 文件
crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux /path/to/vmcore
常用 crash 命令
- bt：显示内核线程的堆栈回溯。
- ps：显示系统进程信息。
- vm：显示虚拟内存信息。
8.2 使用 gdb 工具分析 vmcore 文件
gdb 是一个通用的调试工具，可以用于调试和分析内核崩溃转储文件。
安装 gdb 工具
sudo yum install gdb
使用 gdb 工具加载 vmcore 文件
gdb /usr/lib/debug/lib/modules/$(uname -r)/vmlinux /path/to/vmcore
常用 gdb 命令
- bt：显示线程的堆栈回溯。
- info threads：显示所有线程的信息。
- info registers：显示寄存器的状态。
九、案例分析
案例一：驱动程序导致系统崩溃
问题描述：系统在加载特定驱动程序后无响应，没有任何异常信息。
解决方案：使用 Kdump 捕获崩溃时的内存信息，通过 crash 工具分析 vmcore 文件，找出导致崩溃的驱动程序。
crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux /path/to/vmcore
在 crash 中使用 bt 命令查看崩溃时的堆栈回溯，确定是某个驱动程序引发的崩溃。
案例二：系统无响应，但 CPU、内存、负载和流量均正常
问题描述：系统突然无响应，但监控显示 CPU、内存、负载和流量均正常。
解决方案：使用 Kdump 捕获崩溃时的内存信息，通过 crash 工具分析 vmcore 文件，找出系统无响应的原因。
crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux /path/to/vmcore
在 crash 中使用 ps 命令查看进程状态，找出导致系统无响应的进程或资源争用问题。
十、总结
Kdump 是 Linux 系统中非常重要的内核崩溃转储工具，通过捕获和分析崩溃时的内存信息，可以帮助运维人员快速定位和解决系统问题。结合 kexec 机制，Kdump 可以在不重启系统的情况下，加载并运行捕获内核，从而实现高效的崩溃转储和分析。