Awk这件上古神兵你会用了吗（上古神兵）

AWK诞生于1977的贝尔实验室，是由 Alfred Aho，Peter Weinberger和Brian Kernighan三位大神开发，AWK的命名是由三位作者的Family Name的首字母组成。

三位大神开发AWK的初衷是为了方便快速地处理文本及数据信息，在当年那个即没有python也没有go的年代，这是一个很酷也很有意义的事情；不过话说回来，即便是现在有了Python跟Go，AWK在日常线上运维方面仍然占据一席之地，而且几乎不可替代。

如果你对AWK还是不甚了解，那么希望通过这篇博文，能够让各位做个简单入门，如果这篇文章还能提起你学习AWK的兴趣就更好了。

AWK的程序一般都很短，但并不是说AWK写不出逻辑复杂的程序。AWK像你学过的其它语言一样，支持变量自定义，数组结构，for循环等等，同时也支持自定义函数。

假设我们打算处理一个在线商店的后台日志，内容如下:

python基础教程山治 34.50 5 python高级教程索隆 40.00 6 python实战娜美 38 3 java编程思想弗兰克 48.00 6 Vue教程 javascript小组 55.00 8 awk基础教程路飞 42 3

第一列为书名，第二列为作者，第三列为价格，第四列为当日销售数量。我们将该文件命名为awk_books.log。接下来我们将通过一些实际的案例需求来学习AWK

找出价格大于40的书籍

awk '$3>40 {print $0}' awk_books.log

输出：

java编程思想弗兰克 48.00 6 Vue教程 javascript小组 55.00 8 awk基础教程路飞 42 3

解释

awk的意思是告诉操作系统我要执行awk程序，请做好准备。单引号里面的内容为具体的程序逻辑。awk_books.log为要处理的文件。

写awk的程序其实很简单，因为是有固定套路的。套路就是 'pattern {action}',pattern称为模式，action称为动作。

awk会自动读入要处理文件的每一行内容，依次用pattern去匹配，如果匹配成功，则执行action。对于上面的例子，pattern为$3>40,action为{print $0}。

注意: pattern跟action不必同时存在，后面我会有例子给大家解释什么意思。

到此为止，对于上面的小例子，除了$3和$0你还不理解以外，其它应该都了解了。

awk会将输入的每一行按照空白字符进行分隔，因此分隔之后的第一列就是$1,第二列就是$2,以此类推，我们的例子中书价在第三列，自然就是$3,变量$0则代表整行记录。

如果要处理的文本内容不是按照空白字符分隔怎么办？你可以这样处理。

echo "hello-world" | awk 'BEGIN{FS="-"} {print $1}'

输出的结果都为hello

FS为awk的内置变量，表示输入列的分隔符，默认为空白符。上面的例子中我们将FS的默认值设置成我们希望的样子，也就是-。除了FS以外,跟分隔符相关的内置变量还有输出列分隔符OFS，输入行分隔符RS,输出行分隔符ORS。我就不依依举例展示了。

BEGIN表示的意思是AWK程序开始执行之前执行BEGIN关键字之后的语句，而且只执行一次，所以经常用来初始化变量或者文件头。除了BEGIN，还有END，我后面还会有样列介绍，大家不要着急。

好了,这里先做个简单的小结，然后继续出发。

1.我们知道了如何在命令行终端调用AWK程序。

2.知道了AWK程序的固定套路为 'pattern {action}' 格式

3.了解了内置变量$0,$1,以及FS的作用。

接下来通过一些具体的样例继续学习。

打印出每一行最后一列

awk '{print $NF}' awk_books.log

输出结果：

5 6 3 6 8 3

这个例子中，明显没有pattern 而只有action。AWK中如果没有pattern,则默认匹配所有行。而NF为AWK的内置变量，表示每一行有多少列。所以$NF自然就代表着最后一列的输出内容。基于这个例子，你可以尝试着打印出每一行的倒数第二列内容，代码如下：

awk '{print $(NF-1) }' awk_books.log

只打印出第二行内容

awk 'NR == 2' awk_books.log

输出结果：

python高级教程索隆 40.00 6

这个例子明显没有action只有pattern，如果没有写action则执行默认action，默认的action就是打印匹配的行内容。NR也是内置变量，表示AWK已经读取的行数。

打印每一行的内容及行号

awk '{print NR,$0}' awk_books.log

输出结果：

$ awk '{print NR,$0}' awk_books.log 1 python基础教程山治 34.50 5 2 python高级教程索隆 40.00 6 3 python实战娜美 38 3 4 java编程思想弗兰克 48.00 6 5 Vue教程 javascript小组 55.00 8 6 awk基础教程路飞 42 3

print里面用逗号分隔要打印的多个内容，输出的时候逗号会被空格替代。

更好的输出

接上面的例子，我们让输出结果更易读一些。

awk 'BEGIN{print"编号书名作者价格销量"; print""} {print NR,$0} END{print"";print "输出结束!"}' awk_books.log

输出结果

编号书名作者价格销量 1 python基础教程山治 34.50 5 2 python高级教程索隆 40.00 6 3 python实战娜美 38 3 4 java编程思想弗兰克 48.00 6 5 Vue教程 javascript小组 55.00 8 6 awk基础教程路飞 42 3 输出结束!

BEGIN,在前面已经提到了过了，这里是为了加深一下大家的理解。BEGIN和END后面跟随的语句都只执行一次，即在程序的开头和结束。

打印包含Java的行

awk '/java/ {print $0}' awk_books.log

输出结果：

java编程思想弗兰克 48.00 6 Vue教程 javascript小组 55.00 8

这个样例的匹配模式是个正则表达式，只要有匹配的内容就会输出对应的行。你可以根据业务需求写出更复杂的正则表达式。

打印第一列包含java的行

awk '$1 ~/java/ {print $0}' awk_books.log

输出结果:

java编程思想弗兰克 48.00 6

打印第一列不包含Java的行

awk '$1 !~/java/ {print $0}' awk_books.log