Linux操作系统学习笔记（二十六）内存性能优化

一. 前言

  本文将分析内存的性能指标、测试方法、压测工具以及内存常见问题的优化套路。

二. Buffer和Cache

  通过free或者top命令我们可以发现其将内存分为了buffer和cache等部分。Buffer 和 Cache 的设计目的，是为了提升系统的 I/O 性能。它们利用内存，充当起慢速磁盘与快速 CPU 之间的桥梁，可以加速 I/O 的访问速度。通过man free可以查阅到下面的说明

buffers    Memory used by kernel buffers (Buffers in /proc/meminfo)
cache      Memory used by the page cache and slabs (Cached and SReclaimable in /proc/meminfo)

• Buffers 是内核缓冲区用到的内存，对应的是 /proc/meminfo 中的 Buffers 值。
• Cache 是内核页缓存和 Slab 用到的内存，对应的是 /proc/meminfo 中的 Cached 与 SReclaimable 之和。

  进一步通过man proc，可以看到具体说明

Buffers %lu
    Relatively temporary storage for raw disk blocks that shouldn't get tremendously large (20MB or so).
Cached %lu
   In-memory cache for files read from the disk (the page cache).  Doesn't include SwapCached.
SReclaimable %lu (since Linux 2.6.19)
    Part of Slab, that might be reclaimed, such as caches.   
SUnreclaim %lu (since Linux 2.6.19)
    Part of Slab, that cannot be reclaimed on memory pressure.

• Buffers 是对原始磁盘块的临时存储，也就是用来缓存磁盘的数据，通常不会特别大（20MB 左右）。这样，内核就可以把分散的写集中起来，统一优化磁盘的写入，比如可以把多次小的写合并成单次大的写等等。
• Cached 是从磁盘读取文件的页缓存，也就是用来缓存从文件读取的数据。这样，下次访问这些文件数据时，就可以直接从内存中快速获取，而不需要再次访问缓慢的磁盘。
• SReclaimable 是 Slab 的一部分。Slab 包括两部分，其中的可回收部分，用 SReclaimable 记录；而不可回收部分，用 SUnreclaim 记录。

  最终总结：Buffer 是对磁盘数据的缓存，而 Cache 是文件数据的缓存，它们既会用在读请求中，也会用在写请求中。

• 从写的角度来说，不仅可以优化磁盘和文件的写入，对应用程序也有好处，应用程序可以在数据真正落盘前，就返回去做其他工作。
• 从读的角度来说，不仅可以提高那些频繁访问数据的读取速度，也降低了频繁 I/O 对磁盘的压力。

三. 内存性能参数

3.1 缓存命中率

  缓存命中率，是指直接通过缓存获取数据的请求次数，占所有数据请求次数的百分比。命中率越高，表示使用缓存带来的收益越高，应用程序的性能也就越好。实际上，缓存是现在所有高并发系统必需的核心模块，主要作用就是把经常访问的数据（也就是热点数据），提前读入到内存中。这样，下次访问时就可以直接从内存读取数据，而不需要经过硬盘，从而加快应用程序的响应速度。

  我们可以通过cachestat和cachetop命令进行查看。

$ cachestat 1 3
   TOTAL   MISSES     HITS  DIRTIES   BUFFERS_MB  CACHED_MB
       2        0        2        1           17        279
       2        0        2        1           17        279
       2        0        2        1           17        279 

  这些指标从左到右依次表示：

• TOTAL ，表示总的 I/O 次数；
• MISSES ，表示缓存未命中的次数；
• HITS ，表示缓存命中的次数；
• DIRTIES， 表示新增到缓存中的脏页数；
• BUFFERS_MB 表示 Buffers 的大小，以 MB 为单位；
• CACHED_MB 表示 Cache 的大小，以 MB 为单位。

$ cachetop
11:58:50 Buffers MB: 258 / Cached MB: 347 / Sort: HITS / Order: ascending
PID      UID      CMD       HITS     MISSES   DIRTIES  READ_HIT%  WRITE_HIT%
13029    root     python    1        0        0        100.0%     0.0%

  READ_HIT 和 WRITE_HIT ，分别表示读和写的缓存命中率。

  除此之外，还可以使用pcstat来查看文件的缓存情况，如查看/bin/ls

$ pcstat /bin/ls
+---------+----------------+------------+-----------+---------+
| Name    | Size (bytes)   | Pages      | Cached    | Percent |
|---------+----------------+------------+-----------+---------|
| /bin/ls | 133792         | 33         | 0         | 000.000 |
+---------+----------------+------------+-----------+---------+

3.2 内存泄漏

  内存泄漏是程序的常见事故。首先我们需要明确哪些地方可能会出现内存泄漏。

• 栈内存由系统自动分配和管理。一旦程序运行超出了这个局部变量的作用域，栈内存就会被系统自动回收，所以不会产生内存泄漏的问题。
• 堆内存由应用程序自己来分配和管理。除非程序退出，这些堆内存并不会被系统自动释放，而是需要应用程序明确调用库函数 free() 来释放它们。如果应用程序没有正确释放堆内存，就会造成内存泄漏。
• 只读段，包括程序的代码和常量，由于是只读的，不会再去分配新的内存，所以也不会产生内存泄漏。
• 数据段，包括全局变量和静态变量，这些变量在定义时就已经确定了大小，所以也不会产生内存泄漏。
• 内存映射段，包括动态链接库和共享内存，其中共享内存由程序动态分配和管理。所以，如果程序在分配后忘了回收，就会导致跟堆内存类似的泄漏问题。

  所以常见的内存泄漏会出现在堆和内存映射段。检测内存泄漏可以先通过vmstat的free字段初步判断，用 top 或 ps 来观察进程的内存使用情况，然后找出内存使用一直增长的进程，然后使用memleak工具进行具体分析。

root@ubuntu:/home/ty# /usr/share/bcc/tools/memleak -a -p $(pidof app)
Attaching to pid 5977, Ctrl+C to quit.
cannot attach uprobe, Device or resource busy
[09:08:38] Top 10 stacks with outstanding allocations:
	addr = 7f4ab00f56d0 size = 8192
	addr = 7f4ab00f36c0 size = 8192
	addr = 7f4ab00f76e0 size = 8192
	addr = 7f4ab00f16b0 size = 8192
	32768 bytes in 4 allocations from stack
		fibonacci+0x1f [app]
		child+0x4f [app]
		start_thread+0xdb [libpthread-2.27.so]

3.3 Swap和NUMA

  当物理内存页不足的时候，kswapd0会触发页面交换，但是在一些时候我们会发现Swap在剩余内存很多的情况下也异常升高，这就是和NUMA有关系了。numactl命令可以查看处理器在Node的分布情况。

$ numactl --hardware
available: 1 nodes (0)
node 0 cpus: 0 1
node 0 size: 7977 MB
node 0 free: 4416 MB
...

  内存阈值（页最小阈值、页低阈值和页高阈值）可以通过内存域在 proc 文件系统中的接口 /proc/zoneinfo 来查看

$ cat /proc/zoneinfo
...
Node 0, zone   Normal
 pages free     227894
       min      14896
       low      18620
       high     22344
...
     nr_free_pages 227894
     nr_zone_inactive_anon 11082
     nr_zone_active_anon 14024
     nr_zone_inactive_file 539024
     nr_zone_active_file 923986
...

  使用free命令可以查看当前Swap的使用情况

$ free
             total        used        free      shared  buff/cache   available
Mem:        8169348      331668     6715972         696     1121708     7522896
Swap:             0           0           0

  Linux 本身支持两种类型的 Swap，即 Swap 分区和 Swap 文件。以 Swap 文件为例，开启方式如下

# 创建Swap文件
$ fallocate -l 8G /mnt/swapfile
# 修改权限只有根用户可以访问
$ chmod 600 /mnt/swapfile
# 配置Swap文件
$ mkswap /mnt/swapfile
# 开启Swap
$ swapon /mnt/swapfile

四. 测试工具

4.1 dd

  dd命令可以用于生成临时文件以及测试读取速度

# 生成一个512MB的临时文件
$ dd if=/dev/sda1 of=file bs=1M count=512
# 清理缓存
$ echo 3 > /proc/sys/vm/drop_caches

#测试读取
$ dd if=file of=/dev/null bs=1M
512+0 records in
512+0 records out
536870912 bytes (537 MB, 512 MiB) copied, 16.0509 s, 33.4 MB/s

五. 性能工具总结

   具体的分析思路主要有这几步。

• 先用 free 和 top，查看系统整体的内存使用情况。
• 再用 vmstat 和 pidstat，查看一段时间的趋势，从而判断出内存问题的类型。
• 最后进行详细分析，比如内存分配分析、缓存 / 缓冲区分析、具体进程的内存使用分析等。

总结

  本文主要介绍了内存优化的思路和常见工具及使用方式，以备后续使用。

参考文献

1] Linux-insides

[2] 深入理解Linux内核

[3] Linux内核设计的艺术

[4] 深入理解计算机系统

[5] 深入理解Linux网络技术内幕

[6] shell脚本编程大全

[7] 极客时间 Linux性能优化实战

[8] 极客时间 系统性能调优必知必会