Shell统计词频

写一个 bash 脚本以统计一个文本文件 words.txt 中每个单词出现的频率。

为了简单起见,你可以假设:

  • words.txt只包括小写字母和 ' ' 。
  • 每个单词只由小写字母组成。
  • 单词间由一个或多个空格字符分隔。

示例:

假设 words.txt 内容如下:

the day is sunny the the
the sunny is is

你的脚本应当输出(以词频降序排列):

the 4
is 3
sunny 2
day 1

说明:

  • 不要担心词频相同的单词的排序问题,每个单词出现的频率都是唯一的。
  • 你可以使用一行 Unix pipes 实现吗?

代码:

cat words.txt | tr -s ' ' '\n' | sort | uniq -c | sort -rn | awk '{print $2, $1}'

解释:

1、用cat读取文件

2、用tr命令将空格替换为换行,tr是translate的缩写

3、排序

4、去重计数

5、用sort排序,-r是降序, -n是按数值大小排序

6、使用awk行处理命令打印结果,$2是第2个字段,$1是第一个字段

运行过程如下图:

猜你喜欢

转载自blog.csdn.net/Namcodream521/article/details/83019807