前面我介绍过很多隐藏进程的把戏，随后我对每一种把戏有针对性的给出了反制措施，可以翻看我2020/03～2020/08的文章，太多了，不再一一列举。
如今，我要介绍一种超级简单的手段，手艺人必备。
无论你是隐藏了进程，还是隐藏了进程的CPU利用率，只要它在CPU上运行，在下面的脚本面前，任何隐藏手段终归徒劳：
#!/usr/local/bin/stap
global tbase
global tdelta
probe scheduler.cpu_on
{
a = gettimeofday_us()
tbase[pid(), execname()] = a
}
probe scheduler.cpu_off
{
t = tbase[pid(), execname()]
a = gettimeofday_us();
if (t != 0) {
delete tbase[pid(), execname()]
d = a - t
b = tdelta[pid(), execname()]
tdelta[pid(), execname()] = b + d
}
}
probe timer.ms($1)
{
exit()
}
// 结束时将这段时间内所有运行进程的CPU累加时间按照降序打印。
probe end
{
foreach ([pid, name] in tdelta-) {
printf("%s[%d] = %d\n", name, pid, tdelta[pid, name])
}
}
是的，只要你的进程运行，总逃不过内核的调度，只要进程获得CPU就会打点采样，进程被切换下来时再次打点采样，二者做差就是该进程本次运行的时间，将这些时间累加起来就能获得任意进程占有CPU的时间。
除非你的进程不在CPU上运行，不过不运行的进程又有啥用呢…
来来来，看效果：
[root@localhost test]# /root/loop &
[1] 5814
[root@localhost test]# /root/loop &
[2] 5815
[root@localhost test]#
[root@localhost test]# ./times.stp 5000 # 采样5秒
loop[5814] = 2492109
loop[5815] = 2490044
top[5919] = 1417
kworker/0:1[31879] = 1218
stapio[7125] = 1191
xfsaild/dm-0[397] = 1028
tuned[1003] = 744
systemd-udevd[7126] = 397
sshd[1384] = 174
systemd-udevd[496] = 157
rcuos/0[11] = 105
systemd[1] = 105
kworker/0:2[6831] = 82
systemd-logind[645] = 62
rcu_sched[10] = 43
kworker/u2:2[285] = 7
watchdog/0[12] = 7
ksoftirqd/0[3] = 3
[root@localhost test]#
一抓一个准。
来，现在基于上述原理干点正事儿。
这回我们不再为了缉拿谁而编写脚本，这回我们假装为了优化调度器算法。
我们要统计一下所有进程从排入就绪队列到实际运行的等待时间，用以排查是否有进程饥饿。
#!/usr/local/bin/stap
global tbase
global tdelta
probe kernel.function("activate_task")
{
a = gettimeofday_us()
tbase[task_pid($p), task_execname($p)] = a
}
probe scheduler.cpu_on
{
t = tbase[pid(), execname()]
a = gettimeofday_us();
if (t != 0) {
delete tbase[pid(), execname()]
d = a - t
b = tdelta[pid(), execname()]
tdelta[pid(), execname()] = b + d
}
}
probe timer.ms($1)
{
exit()
}
probe end
{
foreach ([pid, name] in tdelta-) {
printf("%s[%d] = %d\n", name, pid, tdelta[pid, name])
}
}
来来，看效果：
[root@localhost test]# ./wtime.stp 5000
stapio[7727] = 1034
rcuos/0[11] = 747
systemd-udevd[7728] = 244
kworker/0:1[31879] = 236
tuned[1003] = 159
khungtaskd[24] = 80
rcu_sched[10] = 64
systemd-udevd[496] = 58
khugepaged[27] = 20
kworker/u2:2[285] = 20
watchdog/0[12] = 18
auditd[609] = 18
kworker/0:0[7139] = 12
[root@localhost test]#
最后，值得注意的是， stap的操作开销巨大，二元健数组内部实现很复杂，且cpu_on/cpu_off是系统中绝对绝对绝对的热点热点热点路径！ 以上手段仅仅用于发现系统异常，并非常规操作，应该严禁在生产环境长时间执行。
当然，经理除外。
浙江温州皮鞋湿，下雨进水不会胖。