一、inode是什么？
理解inode，要从文件储存说起。
文件储存在硬盘上，硬盘的最小存储单位叫做”扇区”（Sector）。每个扇区储存512字节（相当于0.5KB）。
操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个”块”（block）。这种由多个扇区组成的”块”，是文件存取的最小单位。”块”的大小，最常见的是4KB，即连续八个 sector组成一个 block。
文件数据都储存在”块”中，那么很显然，我们还必须找到一个地方储存文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode，中文译名为”索引节点”。
每一个文件都有对应的inode，里面包含了与该文件有关的一些信息。
所以当inode用完也会出现No space left on device， 造成磁盘的不可写入.
二：问题出现场景
今天zabbix报警，一台服务器的disk满了，使用du -sh * 或 du -sh /* 查看目录的大小，查找占用空间大的目录/var/spool/clientmqueue….
然后我就想/var/spool/clientmqueue这个目录干嘛用的，纠结了半天，谷歌了下，原来/var/spool/clientmqueue是如果系统中有用户开启了cron，而cron中执行的程序有输出内容，输出内容会以邮件形式发给cron的用户，而sendmail没有启动所以就产生了这些文件。
服务器上确实有cron定时执行数十个脚本，而且都没有设置输出定向，日积月累的文件都被保存在/var/spool/clientmqueue目录下面乐 = =.
三：解决
解决方法：在cron的自动执行语句后加上> /dev/null 2>&1
例：
4 3 * * * /usr/bin/w > /dev/null 2>&1
这样就OK拉，就不会写到那个目录下了….
恢复的唯一办法就是删除这些文件， 此方法仅仅用于大量的临时文件和缓存占用的inode. 如果数据不可删除， 就要想办法增加空间了。这里只讲怎么找到这些文件和删除它们.
检查inode剩余
在这里我的inode用的就很多了。
首先找到这些占用的无用文件
for i in /*; do echo $i; find $i |wc -l; done执行上面的语句后， 会顺序从根目录的子目录循环查询， 如果有一个目录卡了很久， 就说明此目录可能存在很多文件.
然后到这个目录下继续查找
循环这个过程直到找到.
找到后酌情删除，删除后inode就会释放.
在这里说一点，/var/spool/clientmqueue目录文件太多，rm -rf *时候会提示：
“-bash: /bin/rm: Argument list too long“.. 意思是参数太长，rm 干不了。
可以用ls | xargs rm -f这个命令将/var/spool/clientmqueue目录下所有文件删除。
由于使用aws服务器，无法直接删除，特写删除脚本如下：
#!/bin/bash
cd /var/spool/clientmqueue
filelist=`ls /var/spool/clientmqueue/`
for file in $filelist
do
echo $file
sudo chown ec2-user:ec2-user $file
sudo rm -rf $file
#sleep 2;
done