跟老男孩学linux三剑客命令.pdf

1、 要想 学 好 linux 运维 ，就上老男孩 IT 教育 ，国内最专业实战的 linux 培训！ 提前预祝老男孩老师的 linux 命令 实战 书籍明年上市 跟老男孩 学三剑客命令 你知道了，我做到了 学员侯鹏飞 编 著 Follow The Oldboy Study Linux Commands You Know But I Did 中国运维领域的专家、老男孩教育创始人拥有 16 年的一线运维 架构 和 8 年 以上 的教学经验 本书不仅详细记录了每个命令的语法、参数以及功能描述同时配套了大量的实例和在生产环境下用过的案例 来老男孩教育不仅是你学到了更多的东西，同时也是你人生的新起点，你值

2、得拥有 老男孩教育出版社 V1.3 O Press 目录 1.1.Awk 的讲解 5 1.2.Awk 实战讲解 . 5 1.2.1.awk 的原理 5 1.2.2.BEGIN 和 END 模块 . 6 1.2.3.运算符 . 6 1.2.4.常用 awk 内置变量 . 7 1.2.5.awk 正则 10 1.3.awk 的 if、循环和数组 11 1.3.1 条件语句 11 1.3.2.循环结构 . 11 1.3.3.数组 . 13 1.4.1awk 常用函数表 . 14 1.4.2 字符串函数的应用 15 2.1.Sed 命令 16 2.1.1.Sed 简介 . 16 2.1.2.sed 工

3、作过程 . 16 2.1.3.Sed 命令格式 . 16 2.1.4.报错信息和退出信息 19 2.2.Sed 范例 19 2.2.1.Sed 测试实例 . 19 2.2.2.打印： p 命令 19 2.2.3.删除： d 命令 20 2.2.4.替换： s 命令 . 21 2.2.5.指定行的范围：逗号 22 2.2.6.多重编辑： e 命令 . 23 2.2.7.追加： a 命令 . 24 2.2.8.插入： i 命令 24 2.2.9.修改： c 命令 . 25 2.2.10.获取下一行： n 命令 25 2.2.11.转换： y， 命令 25 2.2.12.退出： q 命令 26 2.

4、3.生产环境案例 . 26 2.3.1.使用 sed 命令取出 IP 地址 . 26 2.4.总结 28 3.1.Grep 命令 29 3.1.1.Grep 命令的介绍 . 29 3.1.2.Grep 是如何工作的 . 29 3.2.正则表达式元字符和选项 . 29 3.2.1.正则表达式元 字符 29 3.2.2.grep 选项 . 30 3.3.使用正则表达式 grep 实例 . 31 3.3.1.grep 的测试实例 . 31 3.3.2.grep 选项测试案例 . 34 3.3.3.grep 与管道 . 35 3.3.4.egrep 扩展 . 35 第一章 ： Awk 讲解 1.1.A

5、wk 的讲解 awk 是一种很棒的语言，它适合 文本处理 和 报表生成 ，其语法较为常见，借鉴了某些语言的一些精华，如 C 语言等。在 linux 系统日常处理工作中，发挥很重要的作用，掌握了 awk将会使你的工作变的高大上。 awk 是三剑客的老大，利剑出鞘，必会不同凡响。 1.2.Awk 实战讲解 1.2.1.awk 的原理 通过一个简短的命令，我们来了解其工作原理。 awk print $0 /etc/passwd echo hhh|awk print “hello,world“ awk print “hiya“ /etc/passwd 你将会见到 /etc/passwd 文件的内容出现

6、在眼前。现在，解释 awk 做了些什么。调用 awk时，我们指定 /etc/passwd 作为输入文件。执行 awk 时，它依次对 /etc/passwd 中的每一行执行 print 命令。所有输出都发送到 stdout，所得到的结果与 执行 cat /etc/passwd 完全相同。 现在，解释 print 代码块。在 awk 中，花括号用于将几块代码组合到一起，这一点类似于 C 语言。在代码块中只有一条 print 命令。在 awk 中，如果只出现 print 命令，那么将打印当前行的全部内容。 再次说明， awk 对输入文件中的每一行都执行这个脚本。 $ awk -F“:“ print

7、$1 /etc/passwd $ awk -F“:“ print $1 $3 /etc/passwd $ awk -F“:“ print $1 “ “ $3 /etc/passwd $ awk -F“:“ print “username: “ $1 “ttuid:“ $3“ /etc/passwd 1.2.2.BEGIN 和 END 模块 通常，对于每个输入行， awk 都会执行每个脚本代码块一次。然而，在许多编程情况中，可能需要在 awk 开始处理输入文件中的文本之前执行初始化代码。对于这种情况， awk 允许您定义一个 BEGIN 块。我们在前一个示例中使用了 BEGIN 块。因为 awk

8、 在开始处理输入文件之前会执行 BEGIN 块，因此它是初始化 FS（字段分隔符）变量、打印页眉或初始化其它在程序中以后会引用的全局变量的极佳位置。 awk 还提供了另一个特殊块，叫作 END 块。 awk 在处理了输入文件中的所有行之后执行这个块。通常， END 块用于执行最终计算或打印应该出现在输出流结尾的摘要信息。 1.2.3.运算符 表 1.2.3.awk 运算符表 运算符 描 述 赋值运算符 = += -= *= /= %= = *= 赋值语句 逻辑运算符 | 逻辑或 等价于： a=a+5;其他同类 rootyum tmp# awk BEGINa=5;a+=5;print a 10

9、awk 逻辑运算符 rootyum tmp# awk BEGINa=1;b=2;print (a2if(a/100/)print “ok“ ok rootyum tmp# echo|awk BEGINa=“100testaaa“a/100/print “ok“ ok 关系运算符 如： =9)print “ok“ rootyum tmp# awk BEGINa=11;if(a=9)print “ok“ ok rootyum tmp# awk BEGINa;if(a=b)print “ok“ ok awk 算术运算符 说明，所有用作算术运算符 进行操作，操作数自动转为数值，所有非数值都变为0。 r

10、ootyum tmp# awk BEGINa=“b“;print a+,+a 0 2 rootyum tmp# awk BEGINa=“20b4“;print a+,+a 20 22 其他运算符 ?:三目运算符 rootyum tmp# awk BEGINa=“b“;print a=“b“?“ok“:“err“ ok rootyum tmp# awk BEGINa=“b“;print a=“c“?“ok“:“err“ err in 运算符见后面数组 1.2.4.常用 awk 内置变量 表 1.2.4.awk 内置变量 变量名 属 性 $0 当前记录 $1$n 当前记录的第 n 个字段 FS 输

11、入字段分隔符 默认是空格 RS 输入记录分割符 默认为换行符 NF 当前记录中的字段个数，就是有多少列 NR 已经读出的记录数，就是行号，从 1 开始 OFS 输出字段分隔符 默认也是空格 ORS 输出的记录分隔符 默认为换行符 注：内置变量很多，参阅相关资料 字段分隔符 FS FS=“t“ 一个或多个 Tab 分隔 rootyum tmp# awk BEGINFS=“t+“print $1,$2,$3 tab.txt ww CC IDD rootyum tmp# cat tab.txt ww CC IDD rootyum tmp# awk BEGINFS=“t+“print $1,$2,$3

12、 tab.txt ww CC IDD rootyum tmp# FS=“:space:+“ 一个或多个空 白空格，默认的 rootyum tmp# cat space.txt we are studing awk now! rootyum tmp# awk -F :space:+ print $1,$2,$3,$4,$5 space.txt we are rootyum tmp# awk -F :space:+ print $1,$2 space.txt we are FS=“ “:+“ 以一个或多个空格或：分隔 rootyum tmp# cat hello.txt root:x:0:0:ro

13、ot: /root:/bin/bash rootyum tmp# awk -F “ “:+ print $1,$2,$3 hello.txt root x 0 字段数量 NF rootyum tmp# cat hello.txt root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin:888 rootyum tmp# awk -F “:“ NF=8print $0 hello.txt bin:x:1:1:bin:/bin:/sbin/nologin:888 rootyum tmp# 记录数量 NR rootyum tmp

14、# ifconfig eth0| awk -F “ “:+ NR=2print $4 192.168.68.33 RS 记录分隔符变量 将 FS 设置成 “n“告诉 awk 每个字段都占据一行。通过将 RS 设置成 “，还会告诉 awk每个地址记录都由空白行分隔 。 rootyum tmp# cat recode.txt Jimmy the Weasel 100 Pleasant Drive San Francisco, CA 12345 #此处是空白行 Big Tony 200 Incognito Ave. Suburbia, WA 67890 rootyum tmp# cat awk.tx

15、t #!/bin/awk BEGIN FS=“n“ RS=“ print $1 “, “ $2 “, “ $3 rootyum tmp# awk -f awk.txt recode.txt Jimmy the Weasel, 100 Pleasant Drive, San Francisco, CA 12345 Big Tony, 200 Incognito Ave., Suburbia, WA 67890 OFS 输出字段分隔符 rootyum tmp# cat hello.txt root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbi

16、n/nologin:888 rootyum tmp# awk BEGINFS=“:“print $1“,“$2“,“$3 hello.txt root,x,0 bin,x,1 rootyum tmp# awk BEGINFS=“:“;OFS=“#“print $1,$2,$3 hello.txt root#x#0 bin#x#1 ORS 输出记录分隔符 rootyum tmp# cat recode.txt Jimmy the Weasel 100 Pleasant Drive San Francisco, CA 12345 Big Tony 200 Incognito Ave. Suburb

17、ia, WA 67890 rootyum tmp# cat awk.txt #!/bin/awk BEGIN FS=“n“ RS=“ ORS=“nn“ print $1 “, “ $2 “, “$3 rootyum tmp# awk -f awk.txt recode.txt Jimmy the Weasel, 100 Pleasant Drive, San Francisco, CA 12345 Big Tony, 200 Incognito Ave., Suburbia, WA 67890 rootyum tmp# 1.2.5.awk 正则 表 1.2.5.awk 正则表达式 元字符 功能

18、 示例 解释 行首定位符 /root/ 匹配所有以 root 开头的行 $ 行尾定位符 /root$/ 匹配所有以 root 结尾的行 . 匹配任意单个字符 /rt/ 匹配字母 r,然后两个任意字符，再以 l结尾的行，比如 root,r33l 等 * 匹配 0 个或多个前导字符 (包括回车 ) /a*ool/ 匹配 0 个或多个 a 之后紧跟着 ool 的行，比如 ool， aaaaool 等 + 匹配 1 个或多个前导字符 /a+b/ 匹配 1 个或多个 a 加 b 的行，比如 ab,aab 等 ? 匹配 0 个或 1 个前导字符 /a?b/ 匹配 b 或 ab 的行 匹配指定字符组内的任意

19、一个字符 /abc 匹配以字母 a 或 b 或 c 开头的行 匹配不在指定字符组内任意一个字符 /abc/ 匹配不以字母 a 或 b 或 c 开头的行 () 子表达式组合 /(rool)+/ 表示一个或多个 rool 组合，当有一些字符需要组合时，使用括号括起来 | 或者的意思 /(root)|B/ 匹配 root 或者 B 的行 转义字符 /a/ 匹配 a/ ,! 匹配，不匹配的条件语句 $1/root/ 匹配第一个字段包含字符 root的所有记录 xm x 重复 m 次 /(root)3/ 需要注意一点的是， root 加括号和不 xm, x 重复至少 m 次 /(root)3,/ 加括号

20、的区别， x 可以表示字符串也 Xm,n x 重复至少 m 次，但不超过 n 次 /(root)5,6/ 可以只是一个字符，所以 /root5/表示匹配 roo再加上 5个 t，及 roottttt， 需要指定参数：-posix 或者-re-interval 没有该参数不能使用该模式 cat rex.txt smierth,harry smierth,reru robin,tom /(root)2,/ 则表示匹配rootrootrootroot 等 awk -posix /er1,2/ rex.text smierth,harry smierth,reru 正则应用 规则表达式 awk /RE

21、G/action file,/REG/为正则表达式，可以将 $0 中，满足条件的记录送入到：action 进行处理 rootyum tmp# awk /root/print $0 passwd root:x:0:0:root: /root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin rootyum tmp# awk -F : $5/root/print $0 passwd root:x:0:0:root: /root:/bin/bash rootyum tmp# ifconfig eth0|awk BEGINFS=“:space

22、:+“ NR=2print $4 #取出 ip 192.168.68.33 rootyum tmp# ifconfig eth0|awk BEGINFS=“(:space:|:)+“ NR=2print $4 #取出 ip 192.168.68.33 布尔表达式 awk 布尔表达式 action file 仅当对前面的布尔表达式求值为真时 ， awk 才执行代 码块。 rootyum tmp# awk -F: $1=“root“print $0 passwd root:x:0:0:root: /root:/bin/bash rootyum tmp# awk -F: ($1=“root“) co

23、mparison; increment ) code block 以下是一个简短示例： for ( x=1;x20 ) break x+ 这段代码打印 “iteration1“到 “iteration21“， “iteration4“除外。如果迭代等于 4，则增加 x并调用 continue 语句，该语句立即使 awk 开始执行下一个循环迭代，而不执行代码块的其余部分。如同 break 一样， continue 语句适合各种 awk 迭代循环。在 for 循环主体中使用时， continue 将使循环控制变量自动增加。以下是一个等价循环： for ( x=1;x 词尾定位符 /love/ 匹配

24、包含以 love 结尾的单词的行 xm 连续 m 个 x /o5/ 分别匹配出现连续 5 个字母 o、至少 5 个连续的 o、或 510 个连续的 o 的行 xm, 至少 m 个 x /o5,/ xm,n 至少 m 个 x，但不超过 n 个 x /o5,10/ 2.1.3.3.Sed 的常用选项 表 2.sed 的常用选项 选项 说明 -n 使用安静模式，在一般情况所有的 STDIN 都会输出到屏幕上，加入 -n 后只打印被 sed 特殊处理的行 -e 多重编辑，且命令顺序会影响结果 -f 指定一个 sed 脚本文件到命令行执行， -r Sed 使用扩展正则 -i 直接修改文档读取的内容，不在

25、屏幕上输出 2.1.3.4.Sed 操作命令 sed 操作命令告诉 sed 如何处理由地址指定的各输入行。如果没有指定地址， sed 就会处理输入的所有的行。 表 3.sed 命令 命 令 说 明 a 在当前行后添加一行或多行 c 用新文本修改（替换）当前行中的文本 d 删除行 i 在当前行之前插入文本 h 把模式空间里的内容复制到暂存缓存区 H 把模式空间里的内容追加到暂存缓存区 g 取出暂存缓冲区里的内容，将其复制到模式空间，覆盖该处原有内容 G 取出暂存缓冲区里的内容，将其复制到模式空间，追加在原有内容后面 l 列出非打印字符 p 打印行 n 读入下一输入行，并从下一条命令而不是第一条命

26、令开始处理 q 结束或退出 sed r 从文件中读取输入行 ！ 对所选行意外的所有行应用命令 s 用一个字符串替换另一个 表 4.替换标志 g 在行内进行全局替换 p 打印行 w 将行写入文件 x 交换暂存缓冲区与模式空间的内容 y 将字符转换为另一字符（不能对正则表达式使用 y 命令） 2.1.4.报错信息和退出信息 遇到语法错误时， sed 会向标准错误输出发送一条相当简单的报错信息。但是，如果 sed判断不出错在何处，它会“断章取义”，给出令人迷惑的报错信息。如果没有语法错误， sed将会返回给 shell 一个退出状态，状态为 0 代表成功，为非 0 整数代表失败。 2.2.Sed 范

27、例 2.2.1.Sed 测试实例 下面这组范例展示了如何使用 sed，包括如何使用它的选项、命令和正则表达式。记住sed 不是破坏性的，它不会修改正在编辑的文件，除非重定向它的输出结果。 测试实例 下面给出测试文件 ceshi.txt 作为输入文件。 northwest NW Charles Main 3.0 .98 3 34 western WE Sharon Gray 5.3 .97 5 23 southwest SW Lewis Dalsass 2.7 .8 2 18 southern SO Suan Chin 5.1 .95 4 15 southeast SE Patricia Hem

28、enway 4.0 .7 4 17 eastern EA TB Savage 4.4 .84 5 20 northeast NE AM Main Jr. 5.1 .94 3 13 north NO Margot Weber 4.5 .89 5 9 central CT Ann Stephens 5.7 .94 5 13 2.2.2.打印： p 命令 命令 p 是打印命令，用于显示模式缓存区的内容。默认情况下， sed 把输入行打印在屏幕上，选项 -n 用于取消默认打印操纵。当选项 -n 和命令 p 同时出现时， sed 可打印选定的内容。 案例 1 rootyum test# sed /nor

29、th/p sed.txt northwest NW Charles Main 3.0 .98 3 34 northwest NW Charles Main 3.0 .98 3 34 western WE Sharon Gray 5.3 .97 5 23 southwest SW Lewis Dalsass 2.7 .8 2 18 southern SO Suan Chin 5.1 .95 4 15 southeast SE Patricia Hemenway 4.0 .7 4 17 eastern EA TB Savage 4.4 .84 5 20 northeast NE AM Main J

30、r. 5.1 .94 3 13 northeast NE AM Main Jr. 5.1 .94 3 13 north NO Margot Weber 4.5 .89 5 9 north NO Margot Weber 4.5 .89 5 9 central CT Ann Stephens 5.7 .94 5 13 说明： 默认情况下， sed 把所有输入行都打印在标准输出上。如果在某一行匹配到 north， sed就把该行另外打印一遍。 案例 2： rootyum test# sed -n /north/p sed.txt northwest NW Charles Main 3.0 .98

31、3 34 northeast NE AM Main Jr. 5.1 .94 3 13 north NO Margot Weber 4.5 .89 5 9 说明： 默认情况下， sed 打印当前缓存区中的输入行。命令 p 指示 sed 将再次打印该行。选项-n 取消 sed 取消默认打印操作。选线 -n 和命令配合使用，模式缓冲区内的输入行，只被打印一次。如果不指定 -n 选项， sed 就会像上例中那样，打印出重复的行。如果指定了 -n，则sed 只打印包含模式 north 的行。 2.2.3.删除： d 命令 命令 d 用于删除输入行。 sed 先将输入行从文件复制到模式缓存区，然后对该行执

32、行 sed命令，最后将模式 缓存区的内容显示在屏幕上。如果发出的是命令 d，当前模式缓存区的输入行会被删除，不被显示。 案例 3： rootyum test# sed 3d sed.txt northwest NW Charles Main 3.0 .98 3 34 western WE Sharon Gray 5.3 .97 5 23 southern SO Suan Chin 5.1 .95 4 15 southeast SE Patricia Hemenway 4.0 .7 4 17 eastern EA TB Savage 4.4 .84 5 20 northeast NE AM Ma

33、in Jr. 5.1 .94 3 13 north NO Margot Weber 4.5 .89 5 9 central CT Ann Stephens 5.7 .94 5 13 说明： 删除第 3 行。默认情况下，其余的行都 被打印到屏幕上。 案例 4： rootyum test# sed 3,$d sed.txt northwest NW Charles Main 3.0 .98 3 34 western WE Sharon Gray 5.3 .97 5 23 说明： 删除从第三行到最后一行内容，剩余各行被打印。地址范围是开始第 3 行，结束最后一行 。 案例 5： rootyum te

34、st# sed /north/d sed.txt western WE Sharon Gray 5.3 .97 5 23 southwest SW Lewis Dalsass 2.7 .8 2 18 southern SO Suan Chin 5.1 .95 4 15 southeast SE Patricia Hemenway 4.0 .7 4 17 eastern EA TB Savage 4.4 .84 5 20 central CT Ann Stephens 5.7 .94 5 13 说明：所有包含模式 north 的行都被动删除，其余行被打印。 2.2.4.替换： s 命令 命令 s

35、 是替换命令。替换和取代文件中的文本可以通过 sed 中的 s 来实现， s 后包含在斜杠中的文本是正则表达式，后面跟着的是需要替换的文本。可以通过 g 标志对行进行全局替换 案例 6： rootyum test# sed s/west/north/g sed.txt northnorth NW Charles Main 3.0 .98 3 34 northern WE Sharon Gray 5.3 .97 5 23 southnorth SW Lewis Dalsass 2.7 .8 2 18 southern SO Suan Chin 5.1 .95 4 15 southeast SE

36、Patricia Hemenway 4.0 .7 4 17 eastern EA TB Savage 4.4 .84 5 20 northeast NE AM Main Jr. 5.1 .94 3 13 north NO Margot Weber 4.5 .89 5 9 central CT Ann Stephens 5.7 .94 5 13 说明： s 命令用于替换。命令末端的 g 表示在行内全局替换；也就是说如果每一行里出现多个west，所有的 west 都会被替换为 north。如果没有 g 命令，则只将每一行的第一 west 替换为 north。 案例 7： rootyum test#

37、 sed -n s/west/north/p sed.txt northern WE Sharon Gray 5.3 .97 5 23 说明： s 命令用于替换。选线 -n 与命令行末尾的标志 p 结合，告诉 sed 只打印发生替换的那些行；也就是说，如果只有在行首找到 west 并替换成 north 时才会打印此行。 案 例 8： rootyum test# sed s/0-90-9$/s/AM/Archie/; sed.txt northwest NW Charles Main 3.0 .98 3 34 western WE Sharon Gray 5.3 .97 5 23 southwe

38、st SW Lewis Dalsass 2.7 .8 2 18 southern SO Suan Chin 5.1 .95 4 15 southeast SE Patricia Hemenway 4.0 .7 4 17 eastern EA TB Savage 4.4 .84 5 20 northeast NE Archie Main Jr. 5.1 .94 3 13 north NO Margot Weber 4.5 .89 5 9 central CT Ann Stephens 5.7 .94 5 13 说明： 如果在某一行匹配到模式 eastern， n 命令就指示 sed 用下一个输入

39、行（即包含 AM Main Jr 的那行）替换模式空间中的当前行，并用 Archie 替换 AM，然后打印该行，再继续往下处理。 2.2.11.转换： y，命令 y 命令表示转换。该命令与 tr 命令相似，字符按照一对一的方式从左到右进行转换。例如 y/abc/ABC/，会把小写字母转换成大写字母， aA,bB,cC。 案例 20： rootyum test# sed 1,3y/abcdefghijklmnopqrstuvwxyz/ABCDEFGHIJKLMNOPQRSTUVWXYZ/ sed.txt NORTHWEST NW CHARLES MAIN 3.0 .98 3 34 WESTERN

40、 WE SHARON GRAY 5.3 .97 5 23 SOUTHWEST SW LEWIS DALSASS 2.7 .8 2 18 southern SO Suan Chin 5.1 .95 4 15 southeast SE Patricia Hemenway 4.0 .7 4 17 eastern EA TB Savage 4.4 .84 5 20 northeast NE AM Main Jr. 5.1 .94 3 13 north NO Margot Weber 4.5 .89 5 9 central CT Ann Stephens 5.7 .94 5 13 说明： y 命令把 1

41、3 行中所有的小写命令字母都转换成了大写。正则表达式元字符对 y 命令不起作用。与替分隔符一样，斜杠可以被替换成其他字符。 2.2.12.退出： q 命令 q 命令表示退出命令。该命令将导致 sed 程序退出，且不再进行其他的处理。 案例 21： rootyum test# sed 5q sed.txt northwest NW Charles Main 3.0 .98 3 34 western WE Sharon Gray 5.3 .97 5 23 southwest SW Lewis Dalsass 2.7 .8 2 18 southern SO Suan Chin 5.1 .95 4 1

42、5 southeast SE Patricia Hemenway 4.0 .7 4 17 说明： 打印完第 5 行之后， q 让 sed 程序退出。 案例 22： rootyum test# sed /Lewis/ s/Lewis/Joseph/;q; sed.txt northwest NW Charles Main 3.0 .98 3 34 western WE Sharon Gray 5.3 .97 5 23 southwest SW Joseph Dalsass 2.7 .8 2 18 说明： 在某行匹配到模式 Lewis 时， s 表示先用 Joseph 替换 Lewis，然后 q

43、命令让 sed 退出。 2.3.生产环境案例 2.3.1.使用 sed 命令取出 IP 地址 在实际生产中，在修改配置文件的时候，有一些空格、空行、带“ #”开头的注释都要删除或替换，下面为大家介绍几个实用的例子 案例 23： rootyum test# cat sed2.txt tody is nice day you can walk out on the street it will be import to you rootyum test# sed s/ */ sed2.txt tody is nice day you can walk out on the street it will be import to you rootyum test# 或者 rootyum test# sed s/:space:*/ sed2.txt tody is nice day you can walk out on the street it will be