1、Unix awk使用手册 作者：莫名 发表时间：2002/01/27 01:39pm 什么是awk? 你可能对UNIX比较熟悉，但你可能对awk很陌生，这一点也不奇怪，的确，与其优秀的功能相比，awk还远没达到它应有的知名度。awk是什么？与其它大多数UNIX命令不同的是，从名字上看，我们不可能知道awk的功能：它既不是具有独立意义的英文单词，也不是几个相关单词的缩写。事实上，awk是三个人名的缩写，他们是：Aho、(Peter)Weinberg和(Brain)Kernighan。正是这三个人创造了awk-一个优秀的样式扫描与处理工具。 AWK的功能是什么？与sed和grep很相似，awk是一
2、种样式扫描与处理工具。但其功能却大大强于sed和grep。awk提供了极其强大的功能：它几乎可以完成grep和sed所能完成的全部工作，同时，它还可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。它具备了一个完整的语言所应具有的几乎所有精美特性。实际上，awk的确拥有自己的语言：awk程序设计语言，awk的三位创建者已将它正式定义为：样式扫描和处理语言。 为什么使用awk? 即使如此，你也许仍然会问，我为什么要使用awk? 使用awk的第一个理由是基于文本的样式扫描和处理是我们经常做的工作，awk所做的工作有些象数据库，但与数据库不同的是，它处理的是文本文件，这些文件没
3、有专门的存储格式，普通的人们就能编辑、阅读、理解和处理它们。而数据库文件往往具有特殊的存储格式，这使得它们必须用数据库处理程序来处理它们。既然这种类似于数据库的处理工作我们经常会遇到，我们就应当找到处理它们的简便易行的方法，UNIX有很多这方面的工具，例如sed 、grep、sort以及find等等，awk是其中十分优秀的一种。 使用awk的第二个理由是awk是一个简单的工具，当然这是相对于其强大的功能来说的。的确，UNIX有许多优秀的工具，例如UNIX天然的开发工具C语言及其延续C+就非常的优秀。但相对于它们来说，awk完成同样的功能要方便和简捷得多。这首先是因为awk提供了适应多种需要的解
4、决方案：从解决简单问题的awk命令行到复杂而精巧的awk程序设计语言，这样做的好处是，你可以不必用复杂的方法去解决本来很简单的问题。例如，你可以用一个命令行解决简单的问题，而C不行，即使一个再简单的程序，C语言也必须经过编写、编译的全过程。其次，awk本身是解释执行的，这就使得awk程序不必经过编译的过程，同时，这也使得它与shell script程序能够很好的契合。最后，awk本身较C语言简单，虽然awk吸收了C语言很多优秀的成分，熟悉C语言会对学习awk有很大的帮助，但awk本身不须要会使用C语言一种功能强大但需要大量时间学习才能掌握其技巧的开发工具。 使用awk的第三个理由是awk是一个
5、容易获得的工具。与C和C+语言不同，awk只有一个文件(/bin/awk)，而且几乎每个版本的UNIX都提供各自版本的awk，你完全不必费心去想如何获得awk。但C语言却不是这样，虽然C语言是UNIX天然的开发工具，但这个开发工具却是单独发行的，换言之，你必须为你的UNIX版本的C语言开发工具单独付费（当然使用D版者除外），获得并安装它，然后你才可以使用它。 基于以上理由，再加上awk强大的功能，我们有理由说，如果你要处理与文本样式扫描相关的工 作，awk应该是你的第一选择。在这里有一个可遵循的一般原则：如果你用普通的shell工具或shell script有困难的话，试试awk,如果awk仍
6、不能解决问题，则便用C语言，如果C语言仍然失败，则移至C+。 awk的调用方式 前面曾经说过，awk提供了适应多种需要的不同解决方案，它们是： 一、awk命令行，你可以象使用普通UNIX命令一样使用awk，在命令行中你也可以使用awk程序设计语言，虽然awk支持多行的录入，但是录入长长的命令行并保证其正确无误却是一件令人头疼的事，因此，这种方法一般只用于解决简单的问题。当然，你也可以在shell script程序中引用awk命令行甚至awk程序脚本。 二、使用-f选项调用awk程序。awk允许将一段awk程序写入一个文本文件，然后在awk命令行中用-f选项调用并执行这段程序。具体的方法我们将在
7、后面的awk语法中讲到。 三、利用命令解释器调用awk程序：利用UNIX支持的命令解释器功能，我们可以将一段awk程序写入文本文件，然后在它的第一行加上: #!/bin/awk -f 并赋予这个文本文件以执行的权限。这样做之后，你就可以在命令行中用类似于下面这样的方式调用并执行这段awk程序了。 $awk脚本文本名 待处理文件 awk的语法： 与其它UNIX命令一样，awk拥有自己的语法： awk -F re parameter. prog -f progfilein_file. 参数说明： -F re:允许awk更改其字段分隔符。 parameter: 该参数帮助为不同的变量赋值。 prog
8、: awk的程序语句段。这个语句段必须用单拓号：和括起，以防被shell解释。这个程序语句段的标准形式为： pattern action 其中pattern参数可以是egrep正则表达式中的任何一个，它可以使用语法/re/再加上一些样式匹配技巧构成。与sed类似，你也可以使用,分开两样式以选择某个范围。关于匹配的细节，你可以参考附录，如果仍不懂的话，找本UNIX书学学grep和sed（本人是在学习ed时掌握匹配技术的）。action参数总是被大括号包围，它由一系列awk语句组成，各语句之间用;分隔。awk解释它们，并在pattern给定的样式匹配的记录上执行其操作。与shell类似，你也可以使
9、用“#”作为注释符，它使“#”到行尾的内容成为注释，在解释执行时，它们将被忽略。你可以省略pattern和action之一，但不能两者同时省略，当省略pattern时没有样式匹配，表示对所有行（记录）均执行操作，省略action时执行缺省的操作在标准输出上显示。 -f progfile:允许awk调用并执行progfile指定有程序文件。progfile是一个文本文件，他必须符合awk的语法。 in_file:awk的输入文件，awk允许对多个输入文件进行处理。值得注意的是awk不修改输入文件。如果未指定输入文件，awk将接受标准输入，并将结果显示在标准输出上。awk支持输入输出重定向。 aw
10、k的记录、字段与内置变量： 前面说过，awk处理的工作与数据库的处理方式有相同之处，其相同处之一就是awk支持对记录和字段的处理，其中对字段的处理是grep和sed不能实现的，这也是awk优于二者的原因之一。在awk中，缺省的情况下总是将文本文件中的一行视为一个记录，而将一行中的某一部分作为记录中的一个字段。为了操作这些不同的字段，awk借用shell的方法，用$1,$2,$3.这样的方式来顺序地表示行（记录）中的不同字段。特殊地，awk用$0表示整个行（记录）。不同的字段之间是用称作分隔符的字符分隔开的。系统默认的分隔符是空格。awk允许在命令行中用-F re的形式来改变这个分隔符。事实上，
11、awk用一个内置的变量FS来记忆这个分隔符。awk中有好几个这样的内置变量，例如，记录分隔符变量RS、当前工作的记录数NR等等，本文后面的附表列出了全部的内置变量。这些内置的变量可以在awk程序中引用或修改，例如，你可以利用NR变量在模式匹配中指定工作范围，也可以通过修改记录分隔符RS让一个特殊字符而不是换行符作为记录的分隔符。 例:显示文本文件myfile中第七行到第十五行中以字符%分隔的第一字段，第三字段和第七字段： awk -F % NR=7,NR=15 printf $1 $3 $7 awk的内置函数 awk之所以成为一种优秀的程序设计语言的原因之一是它吸收了某些优秀的程序设计语言（例
12、如C）语言的许多优点。这些优点之一就是内置函数的使用，awk定义并支持了一系列的内置函数，由于这些函数的使用，使得awk提供的功能更为完善和强大，例如，awk使用了一系列的字符串处理内置函数(这些函数看起来与C语言的字符串处理函数相似，其使用方式与C语言中的函数也相差无几)，正是由于这些内置函数的使用，使awk处理字符串的功能更加强大。本文后面的附录中列有一般的awk所提供的内置函数，这些内置函数也许与你的awk版本有些出入，因此，在使用之前，最好参考一下你的系统中的联机帮助。 作为内置函数的一个例子，我们将在这里介绍awk的printf函数，这个函数使得awk与c语言的输出相一致。实际上，a
13、wk中有许多引用形式都是从C语言借用过来的。如果你熟悉C语言，你也许会记得其中的printf函数，它提供的强大格式输出功能曾经带我们许多的方便。幸运的是，我们在awk中又和它重逢了。awk中printf几乎与C语言中一模一样，如果你熟悉C语言的话，你完全可以照C语言的模式使用awk中的printf。因此在这里，我们只给出一个例子，如果你不熟悉的话，请随便找一本C语言的入门书翻翻。 例:显示文件myfile中的行号和第3字段： $awk printf%03d%sn,NR,$1 myfile 在命令行使用awk 按照顺序，我们应当讲解awk程序设计的内容了，但在讲解之前，我们将用一些例子来对前面的
14、知识进行回顾，这些例子都是在命令行中使用的，由此我们可以知道在命令行中使用awk是多么的方便。这样做的原因一方面是为下面的内容作铺垫，另一方面是介绍一些解决简单问题的方法，我们完全没有必要用复杂的方法来解决简单的问题-既然awk提供了较为简单的方法的话。 例：显示文本文件mydoc匹配（含有）字符串sun的所有行。 $awk /sun/print mydoc 由于显示整个记录（全行）是awk的缺省动作，因此可以省略action项。 $awk /sun/ mydoc 例：下面是一个较为复杂的匹配的示例： $awk /Ssun/,/Mmoon/ print myfile 它将显示第一个匹配Sun或
15、sun的行与第一个匹配Moon或moon的行之间的行，并显示到标准输出上。 例：下面的示例显示了内置变量和内置函数length（）的使用： $awk length($0)80 print NR myfile 该命令行将显示文本myfile中所有超过80个字符的行号，在这里，用$0表示整个记录（行），同时，内置变量NR不使用标志符$。 例：作为一个较为实际的例子，我们假设要对UNIX中的用户进行安全性检查，方法是考察/etc下的passwd文件，检查其中的passwd字段（第二字段）是否为*，如不为*，则表示该用户没有设置密码，显示出这些用户名（第一字段）。我们可以用如下语句实现： #awk -
16、F: $2= printf(%s no password!n,$1 /etc/passwd 在这个示例中，passwd文件的字段分隔符是“：”，因此，必须用-F：来更改默认的字段分隔符，这个示例中也涉及到了内置函数printf的使用。 awk的变量 如同其它程序设计语言一样，awk允许在程序语言中设置变量，事实上，提供变量的功能是程序设计语言的其本要求，不提供变量的程序设计语言本人还从未见过。 awk提供两种变量，一种是awk内置的变量，这前面我们已经讲过，需要着重指出的是，与后面提到的其它变量不同的是，在awk程序中引用内置变量不需要使用标志符$（回忆一下前面讲过的NR的使用）。awk提供的
17、另一种变量是自定义变量。awk允许用户在awk程序语句中定义并调用自已的变量。当然这种变量不能与内置变量及其它awk保留字相同，在awk中引用自定义变量必须在它前面加上标志符$。与C语言不同的是，awk中不需要对变量进行初始化，awk根据其在awk中第一次出现的形式和上下文确定其具体的数据类型。当变量类型不确定时，awk默认其为字符串类型。这里有一个技巧：如果你要让你的awk程序知道你所使用的变量的明确类型，你应当在在程序中给它赋初值。在后面的实例中，我们将用到这一技巧。 运算与判断： 作为一种程序设计语言所应具有的特点之一，awk支持多种运算，这些运算与C语言提供的基本相同：如+、-、*、/
18、、%等等，同时，awk也支持C语言中类似+、-、+=、-=、=+、=-之类的功能，这给熟悉C语言的使用者编写awk程序带来了极大的方便。作为对运算功能的一种扩展，awk还提供了一系列内置的运算函数（如log、sqr、cos、sin等等）和一些用于对字符串进行操作（运算）的函数（如length、substr等等）。这些函数的引用大大的提高了awk的运算功能。 作为对条件转移指令的一部分，关系判断是每种程序设计语言都具备的功能，awk也不例外。awk中允许进行多种测试，如常用的=（等于）、！=（不等于）、（大于）、=（大于等于）、BEGIN FS=:;print 统计销售金额;total=0 pr
19、int $3;total=total+$3; END printf 销售金额总计：%.2f,total sx （注：是shell提供的第二提示符，如要在shell程序awk语句和awk语言中换行，则需在行尾加反斜杠） 在这里，BEGIN预置了内部变量FS（字段分隔符）和自定义变量total,同时在扫描之前显示出输出行头。而END则在扫描完成后打印出总合计。 2、流程控制语句 awk提供了完备的流程控制语句，其用法与C语言类似。下面我们一一加以说明： 2.1、if.else语句: 格式： if(表达式) 语句1 else 语句2 格式中语句1可以是多个语句，如果你为了方便awk判断也方便你自已阅
20、读，你最好将多个语句用括起来。awk分枝结构允许嵌套，其格式为： if(表达式1) if(表达式2) 语句1 else 语句2 语句3 else if(表达式3) 语句4 else 语句5 语句6 当然实际操作过程中你可能不会用到如此复杂的分枝结构，这里只是为了给出其样式罢了。 2.2、while语句 格式为: while(表达式) 语句 2.3、do-while语句 格式为: do 语句 while(条件判断语句） 2.4、for语句 格式为： for(初始表达式;终止条件;步长表达式) 语句 在awk的 while、do-while和for语句中允许使用break,continue语句来控
21、制流程走向，也允许使用exit这样的语句来退出。break中断当前正在执行的循环并跳到循环外执行下一条语句。continue从当前位置跳到循环开始处执行。对于exit的执行有两种情况：当exit语句不在END中时，任何操作中的exit命令表现得如同到了文件尾，所有模式或操作执行将停止，END模式中的操作被执行。而出现在END中的exit将导致程序终止。 例： awk中的自定义函数 定义和调用用户自己的函数是几乎每个高级语言都具有的功能，awk也不例外，但原始的awk并不提供函数功能，只有在nawk或较新的awk版本中才可以增加函数。 函数的使用包含两部分：函数的定义与函数调用。其中函数定义又包
22、括要执行的代码（函数本身）和从主程序代码传递到该函数的临时调用。 awk函数的定义方法如下： function 函数名(参数表) 函数体 在gawk中允许将function省略为func，但其它版本的awk不允许。函数名必须是一个合法的标志符，参数表中可以不提供参数（但在调用函数时函数名后的一对括号仍然是不可缺少的），也可以提供一个或多个参数。与C语言相似，awk的参数也是通过值来传递的。 在awk中调用函数比较简单，其方法与C语言相似，但awk比C语言更为灵活，它不执行参数有效性检查。换句话说，在你调用函数时，可以列出比函数预计（函数定义中规定）的多或少的参数，多余的参数会被awk所忽略，而
23、不足的参数，awk将它们置为缺省值0或空字符串，具体置为何值，将取决于参数的使用方式。 awk函数有两种返回方式：隐式返回和显式返回。当awk执行到函数的结尾时，它自动地返回到调用程序，这是函数是隐式返回的。如果需要在结束之前退出函数，可以明确地使用返回语句提前退出。方法是在函数中使用形如：return 返回值 格式的语句。 例：下面的例子演示了函数的使用。在这个示例中，定义了一个名为print_header的函数，该函数调用了两个参数FileName和PageNum，FileName参数传给函数当前使用的文件名，PageNum参数是当前页的页号。这个函数的功能是打印（显示）出当前文件的文件名
24、，和当前页的页号。完成这个功能后，这个函数将返回下一页的页号。 nawk BEGINpageno=1;file=FILENAME pageno=print_header(file，pageno)；#调用函数print_header printf(当前页页号是：%dn,pageno); #定义函数print_header function print_header(FileName,PageNum) printf(%s %dn,FileName,PageNum); PageNum+;return PageNUm; myfile 执行这个程序将显示如下内容： myfile 1 当前页页号是：2 a
25、wk高级输入输出 1.读取下一条记录： awk的next语句导致awk读取下一个记录并完成模式匹配，然后立即执行相应的操作。通常它用匹配的模式执行操作中的代码。next导致这个记录的任何额外匹配模式被忽略。 2.简单地读取一条记录 awk的 getline语句用于简单地读取一条记录。如果用户有一个数据记录类似两个物理记录，那么getline将尤其有用。它完成一般字段的分离(设置字段变量$0 FNR NF NR)。如果成功则返回1，失败则返回0（到达文件尾）。如果需简单地读取一个文件，则可以编写以下代码： 例：示例getline的使用 while(getline=1) #process the
26、inputted fields 也可以使getline保存输入数据在一个字段中，而不是通过使用getline variable的形式处理一般字段。当使用这种方式时，NF被置成0，FNR和NR被增值。 用户也可以使用getlinedatafile 或 printf(hello word!n)datafile 5.输出到一个命令 awk中允许用如下方式将结果输出到一个命令： printf(hello word!n)|sort -t, awk与shell script混合编程 因为awk可以作为一个shell命令使用，因此awk能与shell批处理程序很好的融合在一起，这给实现awk与shell程序
27、的混合编程提供了可能。实现混合编程的关键是awk与shell script之间的对话，换言之，就是awk与shell script之间的信息交流:awk从shell script中获取所需的信息（通常是变量的值）、在awk中执行shell命令行、shell script将命令执行的结果送给awk处理以及shell script读取awk的执行结果等等。 1.awk读取Shell script程序变量 在awk中我们可以通过“$变量名”的方式读取shell scrpit程序中的变量。 例：在下面的示例中，我们将读取shell scrpit程序中的变量Name，该变量存放的是文本myfile的撰写
28、者，awk将打印出这个人名。 $cat writename : # (#) # . . . Name=张三nawk BEGIN name=Name; printf(t%st撰写者%sn,FILENAME,name); .END. myfile . . . 2.将shell命令的执行结果送给awk处理 作为信息传送的一种方法，我们可以将一条shell命令的结果通过管道线（|）传递给awk处理： 例：示例awk处理shell命令的执行结果 $who -u | awk printf(%s正在执行%sn,$2,$1) 该命令将打印出注册终端正在执行的程序名。 3.shell script程序读awk的
29、执行结果 为了实现shell script程序读取awk执行的结果，我们可以采取一些特殊的方法，例如我们可以用 变量名=awk语句的形式将awk执行的结果存放入一个shell script变量。当然也可以用管道线的方法将awk执行结果传递给shell script程序处理。 例：作为传送消息的机制之一，UNIX提供了一个向其所有用户传送消息的命令wall（意思是write to all写给所有用户），该命令允许向所有工作中的用户（终端）发送消息。为此，我们可以通过一段shell批处理程序wall.shell来模拟这一程序（事实上比较老的版本中wall就是一段shell批处理程序： $cat w
30、all.shell : # (#) wall.shell:发送消息给每个已注册终端 # cat /tmp/$ #用户录入消息文本 who -u | awk print $2 | while read tty do cat /tmp/$tty done 在这个程序里，awk接受who -u命令的执行结果，该命令打印出所有已注册终端的信息，其中第二个字段是已注册终端的设备名，因此用awk命令析出该设备名，然后用while read tty语句循环读出这些文件名到变量（shell script变量）tty中，作为信息传送的终结地址。 4.在awk中执行shell命令行-嵌入函数system() sy
31、stem()是一个不适合字符或数字类型的嵌入函数，该函数的功能是处理作为参数传递给它的字符串。 system对这个参数的处理就是将其作为命令处理，也就是说将其当作命令行一样加以执行。这使得用户在自己的awk程序需要时可以灵活地执行命令或脚本。 例：下面的程序将使用system嵌入函数打印用户编制好的报表文件，这个文件存放在名为myreport.txt的文件中。为简约起见，我们只列出了其END部分： . . . END close(myreport.txt);system(lp myreport.txt); 在这个示例中，我们首先使用close语句关闭了文件myreport.txt文件，然后使用
32、system嵌入函数将myreport.txt送入打印机打印。 写到这里，我不得不跟朋友们说再见了，实在地说，这些内容仍然是awk的初步知识，电脑永远是前进的科学，awk也不例外，本篇所能做的只是在你前行的漫漫长途中铺平一段小小开端，剩下的路还得靠你自己去走。老实说，如果本文真能给你前行的路上带来些许的方便，那本人就知足了！ 如对本篇有任何疑问，请E-mail To:C或到主页http:/中留言。 附录： 1.awk的常规表达式元字符 换码序列 在字符串的开头开始匹配 $ 在字符串的结尾开始匹配 . 与任何单个字符串匹配 ABC 与内的任一字符匹配 A-Ca-c 与A-C及a-c范围内的字符匹
33、配（按字母表顺序） ABC 与除内的所有字符以外的任一字符匹配 Desk|Chair 与Desk和Chair中的任一个匹配 ABCDEF 关联。与A、B、C中的任一字符匹配，且其后要跟D、E、F中的任一个字符。 ABC* 与A、B或C中任一个出现0次或多次的字符相匹配 ABC+ 与A、B或C中任何一个出现1次或多次的字符相匹配 ？ 与一个空串或A、B或C在任何一个字符相匹配 （Blue|Black）berry 合并常规表达式，与Blueberry或Blackberry相匹配 2.awk算术运算符 运算符 用途 - xy x的y次幂 x*y 同上 x%y 计算x/y的余数（求模） x+y x加y
34、 x-y x减y x*y x乘y x/y x除y -y 负y(y的开关符号);也称一目减 +y y加1后使用y(前置加) y+ 使用y值后加1（后缀加） -y y减1后使用y(前置减) y- 使用后y减1(后缀减) x=y 将y的值赋给x x+=y 将x+y的值赋给x x-=y 将x-y的值赋给x x*=y 将x*y的值赋给x x/=y 将x/y的值赋给x x%=y 将x%y的值赋给x x=y 将xy的值赋给x x*=y 将x*y的值赋给x 3.awk允许的测试： 操作符 含义 x=y x等于y x!=y x不等于y xy x大于y x=y x大于或等于y xy x小于y x = = = !=
35、 ! xy (字符串连结，xy变成xy） + - * / % + - 5.awk内置变量（预定义变量） 说明：表中v项表示第一个支持变量的工具（下同）：A=awk，N=nawk,P=POSIX awk,G=gawk V 变量 含义 缺省值 - N ARGC 命令行参数个数 G ARGIND 当前被处理文件的ARGV标志符 N ARGV 命令行参数数组 G CONVFMT 数字转换格式 %.6g P ENVIRON UNIX 环境变量 N ERRNO UNIX 系统错误消息 G FIELDWIDTHS 输入字段宽度的空白分隔字符串 A FILENAME 当前输入文件的名字 P FNR 当前记录数
36、 A FS 输入字段分隔符 空格 G IGNORECASE 控制大小写敏感0（大小写敏感） A NF 当前记录中的字段个数 A NR 已经读出的记录数 A OFMT 数字的输出格式 %.6g A OFS 输出字段分隔符 空格 A ORS 输出的记录分隔符 新行 A RS 输入的记录他隔符 新行 N RSTART 被匹配函数匹配的字符串首 N RLENGTH 被匹配函数匹配的字符串长度 N SUBSEP 下标分隔符 034 6.awk的内置函数 V 函数 用途或返回值 - N gsub(reg,string,target) 每次常规表达式reg匹配时替换target中的string N inde
37、x(search,string) 返回string中search串的位置 A length(string) 求串string中的字符个数 N match(string,reg) 返回常规表达式reg匹配的string中的位置 N printf(format,variable) 格式化输出，按format提供的格式输出变量variable。 N split(string,store,delim) 根据分界符delim,分解string为store的数组元素 N sprintf(format,variable) 返回一个包含基于format的格式化数据， variables是要放到串中的数据 G
38、strftime(format,timestamp) 返回一个基于format的日期或者时间串， timestmp是systime()函数返回的时间 N sub(reg,string,target) 第一次当常规表达式reg匹配，替换target串中的字符串 A substr(string,position,len) 返回一个以position开始len个字符的子串 P tolower(string) 返回string中对应的小写字符 P toupper(string) 返回string中对应的大写字符 A atan(x,y) x的余切(弧度) N cos(x) x的余弦(弧度) A exp(
39、x) e的x幂 A int(x) x的整数部分 A log(x) x的自然对数值 N rand() 0-1之间的随机数 N sin(x) x的正弦(弧度) A sqrt(x) x的平方根 A srand(x) 初始化随机数发生器。如果忽略x，则使用system() G system() 返回自1970年1月1日以来经过的时间(按秒计算) * 通用线程：Awk 实例 作者：donggua1 发表时间：2002/08/29 08:24am 通用线程：Awk 实例 Daniel Robbins (drobbinsgentoo.org) 第一部分 Awk 是一种非常好的语言，同时有一个非常奇怪的名称。
40、在本系列（共三篇文章）的第一篇文章中，Daniel Robbins 将使您迅速掌握 awk 编程技巧。随着本系列的进展，将讨论更高级的主题，最后将演示一个真正的高级 awk 演示程序。 捍卫 awk 在本系列文章中，我将使您成为精通 awk 的编码人员。我承认，awk 并没有一个非常好听且又非常“时髦”的名字。awk 的 GNU 版本（叫作 gawk）听起来非常怪异。那些不熟悉这种语言的人可能听说过awk，并可能认为它是一组落伍且过时的混乱代码。它甚至会使最博学的 UNIX 权威陷于错乱的边缘（使他不断地发出 kill -9! 命令，就象使用咖啡机一样）。 的确，awk 没有一个动听的名字。但
41、它是一种很棒的语言。awk 适合于文本处理和报表生成，它还有许多精心设计的特性，允许进行需要特殊技巧程序设计。与某些语言不同，awk 的语法较为常见。它借鉴了某些语言的一些精华部分，如 C 语言、python 和 bash（虽然在技术上，awk 比 python 和 bash 早创建）。awk 是那种一旦学会了就会成为您战略编码库的主要部分的语言。 第一个 awk 让我们继续，开始使用 awk，以了解其工作原理。在命令行中输入以下命令： $ awk print /etc/passwd 您将会见到 /etc/passwd 文件的内容出现在眼前。现在，解释 awk 做了些什么。调用 awk 时，我
42、们指定/etc/passwd 作为输入文件。执行 awk 时，它依次对 /etc/passwd 中的每一行执行 print 命令。所有输出都发送到 stdout，所得到的结果与与执行catting /etc/passwd完全相同。 现在，解释 print 代码块。在 awk 中，花括号用于将几块代码组合到一起，这一点类似于 C 语言。在代码块中只有一条 print 命令。在 awk 中，如果只出现 print 命令，那么将打印当前行的全部内容。 这里是另一个 awk 示例，它的作用与上例完全相同： $ awk print $0 /etc/passwd 在 awk 中，$0 变量表示整个当前行，
43、所以 print 和 print $0 的作用完全一样。 如果您愿意，可以创建一个 awk 程序，让它输出与输入数据完全无关的数据。以下是一个示例： $ awk print /etc/passwd只要将 字符串传递给 print 命令，它就会打印空白行。如果测试该脚本，将会发现对于/etc/passwd文件中的每一行，awk 都输出一个空白行。再次说明， awk 对输入文件中的每一行都执行这个脚本。以下是另一个示例： $ awk print hiya /etc/passwd 运行这个脚本将在您的屏幕上写满 hiya。:) 多个字段 awk 非常善于处理分成多个逻辑字段的文本，而且让您可以毫不费
44、力地引用 awk 脚本中每个独立的字段。以下脚本将打印出您的系统上所有用户帐户的列表： $ awk -F: print $1 /etc/passwd 上例中，在调用 awk 时，使用 -F 选项来指定 : 作为字段分隔符。awk 处理 print $1 命令时，它会打印出在输入文件中每一行中出现的第一个字段。以下是另一个示例 $ awk -F: print $1 $3 /etc/passwd 以下是该脚本输出的摘录 halt7operator11root0shutdown6sync5bin1.etc. 如您所见，awk 打印出 /etc/passwd 文件的第一和第三个字段，它们正好分别是用户
45、名和用户标识字段。现在，当脚本运行时，它并不理想 - 在两个输出字段之间没有空格！如果习惯于使用 bash 或 python 进行编程，那么您会指望 print $1 $3 命令在两个字段之间插入空格。然而，当两个字符串在 awk 程序中彼此相邻时，awk 会连接它们但不在它们之间添加空格。以下命令会在这两个字段中插入空格： $ awk -F: print $1 $3 /etc/passwd 以这种方式调用 print 时，它将连接 $1、 和 $3，创建可读的输出。当然，如果需要的话，我们还可以插入一些文本标签： $ awk -F: print username: $1 ttuid: $3
46、/etc/passwd 这将产生以下输出： username:haltuid:7username:operatorid:11username:rootuid:0username: shutdown uid:6username: sync uid:5username: bin uid:1.etc. 外部脚本 将脚本作为命令行自变量传递给 awk 对于小的单行程序来说是非常简单的，而对于多行程序，它就比较复杂。您肯定想要在外部文件中撰写脚本。然后可以向 awk 传递 -f 选项，以向它提供此脚本文件： $ awk -f myscript.awk myfile.in 将脚本放入文本文件还可以让您使用
47、附加 awk 功能。例如，这个多行脚本与前面的单行脚本的作用相同，它们都打印出 /etc/passwd 中每一行的第一个字段： BEGIN FS=: print $1 这两个方法的差别在于如何设置字段分隔符。在这个脚本中，字段分隔符在代码自身中指定（通过设置FS 变量），而在前一个示例中，通过在命令行上向 awk 传递 -F: 选项来设置 FS。通常，最好在脚本自身中设置字段分隔符，只是因为这表示您可以少输入一个命令行自变量。我们将在本文的后面详细讨论 FS 变量。 BEGIN 和 END 块 通常，对于每个输入行，awk 都会执行每个脚本代码块一次。然而，在许多编程情况中，可能需要在awk
48、开始处理输入文件中的文本之前执行初始化代码。对于这种情况，awk 允许您定义一个 BEGIN 块。我们在前一个示例中使用了 BEGIN 块。因为 awk 在开始处理输入文件之前会执行 BEGIN 块，因此它是初始化 FS（字段分隔符）变量、打印页眉或初始化其它在程序中以后会引用的全局变量的极佳位置。 awk 还提供了另一个特殊块，叫作 END 块。awk 在处理了输入文件中的所有行之后执行这个块。通常，END 块用于执行最终计算或打印应该出现在输出流结尾的摘要信息。规则表达式和块awk 允许使用规则表达式，根据规则表达式是否匹配当前行来选择执行独立代码块。以下示例脚本只输出包含字符序列 foo
49、 的那些行： /foo/ print 当然，可以使用更复杂的规则表达式。以下脚本将只打印包含浮点数的行： /0-9+.0-9*/ print 表达式和块还有许多其它方法可以选择执行代码块。我们可以将任意一种布尔表达式放在一个代码块之前，以控制何时执行某特定块。仅当对前面的布尔表达式求值为真时，awk 才执行代码块。以下示例脚本输出将输出其第一个字段等于 fred 的所有行中的第三个字段。如果当前行的第一个字段不等于 fred，awk 将继续处理文件而不对当前行执行 print 语句： $1 = fred print $3 awk 提供了完整的比较运算符集合，包括 =、= 和 !=。另外，awk
50、 还提供了 和 ! 运算符，它们分别表示“匹配”和“不匹配”。它们的用法是在运算符左边指定变量，在右边指定规则表达式。如果某一行的第五个字段包含字符序列 root，那么以下示例将只打印这一行中的第三个字段 ： $5 /root/ print $3 条件语句 awk 还提供了非常好的类似于 C 语言的 if 语句。如果您愿意，可以使用 if 语句重写前一个脚本： if ( $5 /root/ ) print $3 这两个脚本的功能完全一样。第一个示例中，布尔表达式放在代码块外面。而在第二个示例中，将对每一个输入行执行代码块，而且我们使用 if 语句来选择执行 print 命令。这两个方法都可以使
