linux系统将每个对象当做文件来处理,这包括输入和输出的过程,linux用文件描述符来标识每个文件对象,文件描述符是一个非负整数,可以唯一的的标识会话中打开的文件,每个过程最多可以有9个文件描述符,linux系统默认占用了0,1,2三个文件描述符
序号 | 文件描述符符号 | 缩写 | 描述 |
1 | 0 | STDIN | 标准输入 |
2 | 1 | STDOUT | 标准输出 |
3 | 2 | STDERR | 标准错误 |
我们使用2<文件名,将一个错误的消息重定向到一个文件中,而不再屏幕上显示
[search@h1 a813]$ ll -al bbb > t2 ls: 无法访问bbb: 没有那个文件或目录 [search@h1 a813]$ ll -al bbb 2> t3 [search@h1 a813]$ ll 总用量 8 -rw-rw-r-- 1 search search 9 8月 14 03:56 abc.txt -rw-rw-r-- 1 search search 0 8月 14 03:59 t2 -rw-rw-r-- 1 search search 49 8月 14 03:59 t3 [search@h1 a813]$ more t3 ls: 无法访问bbb: 没有那个文件或目录 [search@h1 a813]$
同样我们可以正确的消息重定向到一个文本里,把错误的消息重定向到另外一个文件里,这样就很分明了,不用我们去一大堆的log里面查找错误信息了。
[search@h1 a813]$ ll 总用量 12 -rw-rw-r-- 1 search search 9 8月 14 03:56 abc.txt -rw-rw-r-- 1 search search 0 8月 14 04:04 error.txt -rw-rw-r-- 1 search search 52 8月 14 04:04 ok.txt -rw-rw-r-- 1 search search 0 8月 14 03:59 t2 -rw-rw-r-- 1 search search 49 8月 14 03:59 t3 [search@h1 a813]$ rm -rf error.txt [search@h1 a813]$ rm -rf ok.txt [search@h1 a813]$ ls -al abc.txt bb 2> error.txt 1> ok.txt [search@h1 a813]$ ll 总用量 16 -rw-rw-r-- 1 search search 9 8月 14 03:56 abc.txt -rw-rw-r-- 1 search search 48 8月 14 04:06 error.txt -rw-rw-r-- 1 search search 52 8月 14 04:06 ok.txt -rw-rw-r-- 1 search search 0 8月 14 03:59 t2 -rw-rw-r-- 1 search search 49 8月 14 03:59 t3 [search@h1 a813]$ more ok.txt -rw-rw-r-- 1 search search 9 8月 14 03:56 abc.txt [search@h1 a813]$ more error.txt ls: 无法访问bb: 没有那个文件或目录 [search@h1 a813]$
注意重定向的写法2> 文本, 中间有个空格
正确输出和错误输出都重定向到一个文件里,命令如下:
[search@h1 a813]$ ls -al abc.txt cc &> test2 [search@h1 a813]$ ll 总用量 20 -rw-rw-r-- 1 search search 9 8月 14 03:56 abc.txt -rw-rw-r-- 1 search search 48 8月 14 04:06 error.txt -rw-rw-r-- 1 search search 52 8月 14 04:06 ok.txt -rw-rw-r-- 1 search search 0 8月 14 03:59 t2 -rw-rw-r-- 1 search search 49 8月 14 03:59 t3 -rw-rw-r-- 1 search search 100 8月 14 04:09 test2 [search@h1 a813]$ more test2 ls: 无法访问cc: 没有那个文件或目录 -rw-rw-r-- 1 search search 9 8月 14 03:56 abc.txt [search@h1 a813]$
下面演示临时重定向的用法:
[search@h1 a813]$ more b.sh #强制此句变成一个错误的输出 echo "this is a error" >&2 echo "this is a normal output" [search@h1 a813]$ sh b.sh 2> e2.txt this is a normal output [search@h1 a813]$ more e2.txt this is a error [search@h1 a813]$
临时重定向只对单个消息管用,如果脚本里有大量的数据需要重定向,那么就需要使用永久重定向了,演示如下:
[search@h1 a813]$ cat a.sh exec 1>out echo "11我输出的会被重定向在out里面" echo "1我输出的会被重定向在out里面" echo "111我输出的会被重定向在out里面" [search@h1 a813]$ sh a.sh [search@h1 a813]$ cat out 11我输出的会被重定向在out里面 1我输出的会被重定向在out里面 111我输出的会被重定向在out里面 [search@h1 a813]$ echo "haha" haha [search@h1 a813]$ more out 11我输出的会被重定向在out里面 1我输出的会被重定向在out里面 111我输出的会被重定向在out里面 [search@h1 a813]$
exec命令会启动一个新的shell,并将STDOUT文件描述符重定向到文件
[search@h1 a813]$ more c.sh exec 2>err echo "a" echo "aa" echo "ab" exec 1>pp echo "bb" echo "cc" >&2 [search@h1 a813]$ sh c.sh a aa ab [search@h1 a813]$ more pp bb [search@h1 a813]$ more err cc [search@h1 a813]$
下面我们看下,如何在脚本中重定向输入
[search@h1 a813]$ more testfile JAVA SOLR Lucene Hadoop Hive [search@h1 a813]$ cat d.sh exec 0< testfile count=1 while read line do echo "行号:$count: $line" count=$[ $count + 1 ] done [search@h1 a813]$ sh d.sh 行号:1: JAVA 行号:2: SOLR 行号:3: Lucene 行号:4: Hadoop 行号:5: Hive [search@h1 a813]$
下面我们看下如何创建自己的文件描述符,还记得开头说的吗,linux默认有10个文件描述符,其中linux用了前3个(0,1,2),所以我们可以使用剩余的来自定义自己的描述符
[search@h1 a813]$ cat e.sh exec 3> test3out echo "桌面显示1" echo "桌面显示21" echo "桌面显示12" echo "到自定义的文件描述符里面" >&3 [search@h1 a813]$ sh e.sh 桌面显示1 桌面显示21 桌面显示12 [search@h1 a813]$ cat test3out 到自定义的文件描述符里面 [search@h1 a813]$
当然我们也可以追加进去exec 3>> testout文件
重定向文件描述符恢复:
[search@h1 a813]$ cat s.sh exec 3>&1 exec 1>out4 echo "a" echo "b" exec 1>&3 echo "c" [search@h1 a813]$ sh s.sh c [search@h1 a813]$ cat out4 a b
分析下上面的例子:
首先将文件描述符3重定向到1中,也就是标准的屏幕输出,但是第二行又把标准的屏幕输出重定向到一个文件里面了,所以打印的a,b会被直接写到文件中,最后的一行又把1标准输出重定向到3描述符里面,而3又是重定向到标准输出1里面,所以最后会打印在屏幕上。
这个重定向例子,可以用来恢复原来设置的文件描述符。
下面看下输入重定向:
[search@h1 a813]$ cat testfile JAVA SOLR Lucene Hadoop Hive [search@h1 a813]$ sh g.sh 1: JAVA 2: SOLR 3: Lucene 4: Hadoop 5: Hive yes or no : y you input yes [search@h1 a813]$ sh g.sh 1: JAVA 2: SOLR 3: Lucene 4: Hadoop 5: Hive yes or no : n you input no [search@h1 a813]$
创建读写文件描述符:
[search@h1 a813]$ cat testfile JAVA SOLR Lucene Hadoop Hive [search@h1 a813]$ sh rw.sh Read: JAVA [search@h1 a813]$ cat testfile JAVA this is a test line e [search@h1 a813]$
读写文件描述符,容易造成文件指针混乱,所以不建议使用,
下面看下如何关闭一个文件描述符:
[search@h1 a813]$ sh w.sh w.sh: line 9: 3: 错误的文件描述符 [search@h1 a813]$ cat o1.txt good hah [search@h1 a813]$ cat w.sh exec 3> o1.txt echo "good hah " >&3 exec 3>&- echo "bad hah" >&3 [search@h1 a813]$
需要注意的两次先后打开一个文件描述符,后面的内容,会覆盖原来的:
[search@h1 a813]$ sh dd.sh 第一次哈哈 [search@h1 a813]$ cat o2.txt 第二次哈哈 [search@h1 a813]$ cat dd.sh exec 3>o2.txt echo "第一次哈哈" >&3 cat o2.txt exec 3>o2.txt echo "第二次哈哈" >&3 [search@h1 a813]$
下面看下如何查看文件描述符的信息,如果执行lsof命令提示,没有这个命令,我们可以使用yum install lsof命令先安装一个,Debian可以执行:apt-get install lsof 安装。
lsof命令用法如下:
lsof filename 显示打开指定文件的所有进程 lsof -a 表示两个参数都必须满足时才显示结果 lsof -c string 显示COMMAND列中包含指定字符的进程所有打开的文件 lsof -p 进程号 查看该进程打开了哪些文件 lsof -u username 显示所属user进程打开的文件 lsof -g gid 显示归属gid的进程情况 lsof +d /DIR/ 显示目录下被进程打开的文件 lsof +D /DIR/ 同上,但是会搜索目录下的所有目录,时间相对较长 lsof -d FD 显示指定文件描述符的进程 lsof -n 不将IP转换为hostname,缺省是不加上-n参数 lsof -i 用以显示符合条件的进程情况 lsof -i[46] [protocol][@hostname|hostaddr][:service|port] 46 –> IPv4 or IPv6 protocol –> TCP or UDP hostname –> Internet host name hostaddr –> IPv4地址 service –> /etc/service中的 service name (可以不只一个) port –> 端口号 (可以不只一个)
列名的说明:
每行显示一个打开的文件,若不指定条件默认将显示所有进程打开的所有文件。lsof输出各列信息的意义如下: COMMAND:进程的名称 PID:进程标识符 USER:进程所有者 FD:文件描述符,应用程序通过文件描述符识别该文件。如cwd、txt等 TYPE:文件类型,如DIR、REG等 DEVICE:指定磁盘的名称 SIZE:文件的大小 NODE:索引节点(文件在磁盘上的标识) NAME:打开文件的确切名称
默认执行会产生大量输出,一般我们需要过滤,最常用的命令有-p 和 -d,前者允许指定PID,后者允许要显示的文件描述符的个数,也可以使用特殊的编辑变量$$,shel会把它设为当前的pid:
[root@h1 sbin]# lsof -a -p $$ COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME bash 1487 root cwd DIR 253,0 4096 392508 /usr/sbin bash 1487 root rtd DIR 253,0 4096 2 / bash 1487 root txt REG 253,0 903336 14 /bin/bash bash 1487 root mem REG 253,0 99154480 394480 /usr/lib/locale/locale-archive bash 1487 root mem REG 253,0 65928 261665 /lib64/libnss_files-2.12.so bash 1487 root mem REG 253,0 1921216 261649 /lib64/libc-2.12.so bash 1487 root mem REG 253,0 19536 261655 /lib64/libdl-2.12.so bash 1487 root mem REG 253,0 135896 261691 /lib64/libtinfo.so.5.7 bash 1487 root mem REG 253,0 154520 261642 /lib64/ld-2.12.so bash 1487 root mem REG 253,0 26060 654464 /usr/lib64/gconv/gconv-modules.cache bash 1487 root 0u CHR 136,0 0t0 3 /dev/pts/0 bash 1487 root 1u CHR 136,0 0t0 3 /dev/pts/0 bash 1487 root 2u CHR 136,0 0t0 3 /dev/pts/0 bash 1487 root 255u CHR 136,0 0t0 3 /dev/pts/0 [root@h1 sbin]# lsof -a -p $$ 0,1,2 lsof: status error on 0,1,2: No such file or directory lsof 4.82 latest revision: ftp://lsof.itap.purdue.edu/pub/tools/unix/lsof/ latest FAQ: ftp://lsof.itap.purdue.edu/pub/tools/unix/lsof/FAQ latest man page: ftp://lsof.itap.purdue.edu/pub/tools/unix/lsof/lsof_man usage: [-?abhlnNoOPRtUvVX] [+|-c c] [+|-d s] [+D D] [+|-f[gG]] [+|-e s] [-F [f]] [-g [s]] [-i [i]] [+|-L [l]] [+m [m]] [+|-M] [-o [o]] [-p s] [+|-r [t]] [-s [p:s]] [-S [t]] [-T [t]] [-u s] [+|-w] [-x [fl]] [--] [names] Use the ``-h'' option to get more help information. [root@h1 sbin]# lsof -a -p $$ -d 0,1,2 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME bash 1487 root 0u CHR 136,0 0t0 3 /dev/pts/0 bash 1487 root 1u CHR 136,0 0t0 3 /dev/pts/0 bash 1487 root 2u CHR 136,0 0t0 3 /dev/pts/0 [root@h1 sbin]# lsof -a -p $$ -d 0,1,2,3 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME bash 1487 root 0u CHR 136,0 0t0 3 /dev/pts/0 bash 1487 root 1u CHR 136,0 0t0 3 /dev/pts/0 bash 1487 root 2u CHR 136,0 0t0 3 /dev/pts/0 [root@h1 sbin]#
下面做个小测试,看我们自己定义的文件描述符:
[search@h1 a813]$ echo "a" >> o1 [search@h1 a813]$ echo "a" >> o2 [search@h1 a813]$ echo "a" >> o3 [search@h1 a813]$ cat v.sh exec 3> o1 exec 4> o2 exec 7< o3 lsof -a -p $$ [search@h1 a813]$ sh v.sh COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME sh 1562 search cwd DIR 253,0 4096 274764 /home/search/a813 sh 1562 search rtd DIR 253,0 4096 2 / sh 1562 search txt REG 253,0 903336 14 /bin/bash sh 1562 search mem REG 253,0 99154480 394480 /usr/lib/locale/locale-archive sh 1562 search mem REG 253,0 1921216 261649 /lib64/libc-2.12.so sh 1562 search mem REG 253,0 19536 261655 /lib64/libdl-2.12.so sh 1562 search mem REG 253,0 135896 261691 /lib64/libtinfo.so.5.7 sh 1562 search mem REG 253,0 154520 261642 /lib64/ld-2.12.so sh 1562 search mem REG 253,0 26060 654464 /usr/lib64/gconv/gconv-modules.cache sh 1562 search 0u CHR 136,0 0t0 3 /dev/pts/0 sh 1562 search 1u CHR 136,0 0t0 3 /dev/pts/0 sh 1562 search 2u CHR 136,0 0t0 3 /dev/pts/0 sh 1562 search 3w REG 253,0 0 275196 /home/search/a813/o1 sh 1562 search 4w REG 253,0 0 275198 /home/search/a813/o2 sh 1562 search 7r REG 253,0 2 275201 /home/search/a813/o3 sh 1562 search 255r REG 253,0 55 275199 /home/search/a813/v.sh [search@h1 a813]$
如果不想看到任何的错误消息,我们可以将到重定向到一个空的设备中
ls -al > /dev/null
当然我们也可以利用cat /dev/null > tesfile 来清空一个文件
mktemp test.XXXXXX会创建一个唯一的文件,后面的六个X会被生成一个随机数,从而能创建一个临时文件:
[search@h1 a813]$ mktemp t.XXXXXX t.xhqQbm [search@h1 a813]$ ll t.* -rw------- 1 search search 0 8月 14 05:27 t.cEjS56 -rw------- 1 search search 0 8月 14 05:24 t.GLcGV0 -rw------- 1 search search 0 8月 14 05:27 t.xhqQbm [search@h1 a813]$
我们知道在linux的tmp目录下的临时文件,都会在系统退出启动后删除,我们可以使用mktemp -t t.XXXXXX来创建一个临时文件:
[search@h1 ~]$ mktemp -t t.XXXXXX /tmp/t.36bSRP [search@h1 ~]$ ls -al /tmp/t.36bSRP -rw------- 1 search search 0 8月 14 05:29 /tmp/t.36bSRP [search@h1 ~]$
命令创建完毕后,会返回一个路径,这样我们就能引用这个文件了,而不用管它将临时文件放在了什么位置
mktemp -d dir.XXXXXX命令可以同-t一样,能创建一个临时目录,用来存储临时一些数据。
有时候我们想将一些文件,即在屏幕上显示,又能记录到文件里面,这时候我们不需要重定向2次,我们可以使用tee命令,tee命令是一个T字形的管道,它将STDIN读取过来的数据,同时发送到2个目的地,一个是STOUT,一个是tee指定的文件里面。
[search@h1 ~]$ date | tee vv.txt 2014年 08月 14日 星期四 05:36:12 CST [search@h1 ~]$ cat vv.txt 2014年 08月 14日 星期四 05:36:12 CST [search@h1 ~]$
默认会覆盖上次数据,如果不想覆盖,可以加个-a命令。
[search@h1 ~]$ date | tee vv.txt 2014年 08月 14日 星期四 05:36:12 CST [search@h1 ~]$ cat vv.txt 2014年 08月 14日 星期四 05:36:12 CST [search@h1 ~]$ date | tee vv.txt 2014年 08月 14日 星期四 05:37:26 CST [search@h1 ~]$ date | tee vv.txt 2014年 08月 14日 星期四 05:37:30 CST [search@h1 ~]$ cat vv.txt 2014年 08月 14日 星期四 05:37:30 CST [search@h1 ~]$ date | tee -a vv.txt 2014年 08月 14日 星期四 05:37:43 CST [search@h1 ~]$ date | tee -a vv.txt 2014年 08月 14日 星期四 05:37:47 CST [search@h1 ~]$ cat vv.txt 2014年 08月 14日 星期四 05:37:30 CST 2014年 08月 14日 星期四 05:37:43 CST 2014年 08月 14日 星期四 05:37:47 CST [search@h1 ~]$
利用这个方法,我们就可以既能将数据保存着日志文件里,又可以在屏幕上显示
[search@h1 ~]$ cat ddd.sh file=bb echo "abc" | tee $file echo "bbb" | tee -a $file echo "ddd" | tee -a $file [search@h1 ~]$ sh ddd.sh abc bbb ddd [search@h1 ~]$ cat bb abc bbb ddd [search@h1 ~]$
现在我们就可以将输出给用户的同时,也给自己永久保留一份文件了。