正则表达式、sed、awk相关资料笔记资料整合

正则表达式元字符：

^
#锚定行的开始。如：/^sed/匹配所有以sed开头的行。

$
#锚定行的结束。如：/sed$/匹配所有以sed结尾的行。

.
#匹配一个非换行字符。如：/s..d/匹配s后接任意两个个字符，最后是d。

*
#匹配零个或多个字符。如：/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。

[]
#匹配一个指定范围内的字符。如/[Ss]ed/匹配Sed和sed。

[x-y]
#匹配指定范围内的一个字符。如/[a-z]ed/匹配一个a-z之间任意字符后跟ed的行。

[^]
#匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行。


#用来转义字符。如：/sed./匹配包含sed后面跟一个句点.（未经转义的句点通常匹配单个字符）

&;
#词首定位符。如:/&;love/匹配包含以love开头的单词的行。

&;
#词尾定位符。如/love&;/匹配包含以love结尾的单词的行。

(..)
#匹配稍后将要使用的字符的标签。如s/(love)able/1rs，loveable被替换成lovers。
#最多可以使用9个标签，模式中最左边的标签是第1个。用1表示。

x{m}
#重复字符x，m次，如：/0{5}/匹配包含5个o的行。

x{m,}
#重复字符x,至少m次，如：/o{5,}/匹配至少有5个o的行。

x{m,n}
#重复字符x，至少m次，不多于n次，如：/o{5,10}/匹配5--10个o的行。

&
#保存搜索字符用来替换其他字符，如s/love/**&**/，love这成**love**。

Postfix方括号字符集：

[:alnum:]#数字字符	
	
[:lower:]#小写字母字符

[:alpha:]#字母字符	
	
[:print:]#可显示的字符

[:blank:]#空格(space)与定位符(tab)字符	
	
[:punct:]#标点符号字符

[:cntrl:]#控制字符		

[:space:]#空白(whitespace)字符

[:digit:]#数字字符		

[:upper:]#大写字母字符

[:graph:]#非空格字符		

[:xdigit]#十六进制数字

Sed学习：

1.sed选项：

-ecommand,--expression=command#允许多项编辑。

-f,--filer=script-file#指定sed脚本文件名。

-n,--quiet,--silent#取消默认的输出。

-V,--version#打印版本和版权信息。

-h--help	#打印帮助。

2.sed命令：

a	#在当前行后添加一行或多行

c	#用新文本修改（替换）当前行中的文本

d	#删除行

i	#在当前行之前插入文本

h	#把模式空间里面的内容复制到暂缓冲区

H	#把模式空间里面的内容追加到暂缓冲区

g	#取出暂存缓冲区的内容，将其复制到模式空间，覆盖该处原有内容。

G	#取出暂存缓冲区的内容，将其复制到模式空间，追加在原有内容后面。

l	#列出非打印字符。

p	#打印行。

n	#读入下一输入行，并从下一条命令而不是第一条命令开始对其的处理。

q	#结束或退出sed。

r	#从文件中读取输入行。

!	#对所选行以外的所有行应用命令。

s	#用一个字符串替换另一个。

3.sed替换标志：

g	#在行内进行全局替换。

p	#打印行。

w	#将行写入文件。

x	#交换暂存缓冲区与模式空间的内容。

y	#将字符转换为另一字符（不能对正则表达式使用y命令）

sed示例：

[root@localhostmnt]#catexample.txt
onelinetext
twolinetext
threelinetext
fourlinetext
fivelinetext
endline!!!

删除：d命令：

1.#删除文件中的第二行

[root@localhostmnt]#sed'2d'example.txt
onelinetext
threelinetext
fourlinetext
fivelinetext
endline!!!

2.#删除文件中的最后一行

[root@localhostmnt]#sed'$d'example.txt
onelinetext
twolinetext
threelinetext
fourlinetext
fivelinetext

3.#删除第三行到末尾所有行

[root@localhostmnt]#sed'3,$d'example.txt
onelinetext
twolinetext

4.#删除文件中包含text的行

[root@localhostmnt]#sed'/text/'dexample.txt
endline!!!

替换：s命令：

1.#在整行范围内把e替换为E。如果没有g标记，则每行只匹配第一个e。

[root@localhostmnt]#sed's/e/E/g'example.txt
onElinEtExt
twolinEtExt
thrEElinEtExt
fourlinEtExt
fivElinEtExt
EndlinE!!!

2.#(-n)选项和p标志一起使用表示只打印那些发生替换的行。

[root@localhostmnt]#sed-n's/d/D/p'example.txt
enDline!!!

3.#&符号表示替换换字符串中被找到的部份。

[root@localhostmnt]#sed-n's/^end/&for/p'example.txt
endforline!!!#这里&替换成为end

4.#on标记为1，所有的one都会被替换为oncoming！

[root@localhostmnt]#sed-n's/(on)e/1coming/p'example.txt
oncominglinetext

5.#不论什么字符，紧跟着s命令的都被认为是新的分隔符，所以这里的#是分隔符；

[root@localhostmnt]#sed-n's#one#Haha#p'example.txt
Hahalinetext

选定行的范围：逗号

1.#所有在模板th和f所确定的范围内的行都被打印。

[root@localhostmnt]#sed-n'/th/,/f/p'example.txt
threelinetext
fourlinetext

2.#打印从第二行到第一个包含以four开始的行之间的所有行。

[root@localhostmnt]#sed-n'2,/^four/p'example.txt
twolinetext
threelinetext
fourlinetext

3.#对于模板one和three之间的行，每行的行首添加字符串Ceshi。

[root@localhostmnt]#sed'/one/,/three/s/^/Ceshi/'example.txt
Ceshionelinetext
Ceshitwolinetext
Ceshithreelinetext
fourlinetext
fivelinetext
endline!!!

多点编辑：e命令

1.#(e)选项允许在同一行里执行多条命令。

[root@localhostmnt]#sed-e'1,3d'-e's/five/FFFF/'example.txt
fourlinetext
FFFFlinetext
endline!!!

2.#一个比-e更好的命令是--expression。它能给sed表达式赋值。

[root@localhostmnt]#sed--expression='s/one/ONE/'--expression='/h/d'example.txt
ONElinetext
twolinetext
fourlinetext
fivelinetext
endline!!!

从文件读入：r命令

1.#hosts文件内容被读进来，显示在与one匹配的行后面。
#如果匹配了多行，那么hosts内容将显示在所有的匹配行下面。

[root@localhostmnt]#sed'/one/r/etc/hosts'example.txt
onelinetext
127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4
::1localhostlocalhost.localdomainlocalhost6localhost6.localdomain6
twolinetext
threelinetext
fourlinetext
fivelinetext
endline!!!

写入文件：w命令

1.#example中所有包含f的行都被写入到write.txt中。

[root@localhostmnt]#sed-n'/f/wwrite.txt'example.txt
[root@localhostmnt]#catwrite.txt
fourlinetext
fivelinetext

追加命令：a命令

1.#“----->thisisatest”被追加到匹配three的行后面，sed要求命令a后面有一个反斜杠。

[root@localhostmnt]#sed'/three/a----->thisisatest'example.txt
onelinetext
twolinetext
threelinetext
----->thisisatest
fourlinetext
fivelinetext
endline!!!

插入：i命令

1.#“----->thisisanewline”被插入到匹配three的行前面，sed要求命令i后面有一个反斜杠。

[root@localhostmnt]#sed'/three/i----->thisisanewline'example.txt
onelinetext
twolinetext
----->thisisanewline
threelinetext
fourlinetext
fivelinetext
endline!!!

下一个：n命令

1.#如果three被匹配，则移动到匹配行的下一行，替换这一行的line为LINE，并打印且继续。

[root@localhostmnt]#sed'/three/{n;s/line/LINE/;}'example.txt
onelinetext
twolinetext
threelinetext
fourLINEtext
fivelinetext
endline!!!

变形：y命令

1.#把1-3行内所有匹配line任意字母的字符转变为大写。注意：正则表达式元字符不能使用这个命令。

[root@localhostmnt]#sed'1,3y/line/LINE/'example.txt
oNELINEtExt
twoLINEtExt
thrEELINEtExt
fourlinetext
fivelinetext
endline!!!

退出：q命令

1.#打印第三行后退出sed。

[root@localhostmnt]#sed'3q'example.txt
onelinetext
twolinetext
threelinetext

保持和获取：h命令和G命令

1.#在sed处理文件的时候，每一行都被保存在一个叫模式空间的临时缓冲区中，
#除非行被删除或者输出被取消，否则所有被处理的行都将打印在屏幕上。
#接着模式空间被清空，并存入新的一行等待处理。
#这里，匹配two的行存入模式空间，h命令将其复制并存入一个称为保持缓存区的特殊缓冲区内。
#第二条语句是当达到最后一行后，G命令取出保持缓冲区的行。

[root@localhostmnt]#sed-e'/two/h'-e'$G'example.txt
onelinetext
twolinetext
threelinetext
fourlinetext
fivelinetext
endline!!!
twolinetext

保持和互换：h命令和x命令

1.#互换模式空间和保持缓冲区的内容。由结果可以得出匹配three的行将被two替换。

[root@localhostmnt]#sed-e'/two/h'-e'/three/x'example.txt
onelinetext
twolinetext
twolinetext
fourlinetext
fivelinetext
endline!!!

AWK学习：

使用方法：

awk'{pattern+action}'{filenames}

AWK内置变量：

ARGC#命令行参数个数

ARGV#命令行参数排列

ENVIRON#支持队列中系统环境变量的使用

FILENAME#awk浏览的文件名

FNR#浏览文件的记录数

FS#设置输入域分隔符，等价于命令行-F选项

NF#浏览记录的域的个数

NR#已经读出的记录数，就是行号，从1开始，如果有多个文件话，这个值也是不断累加中。

OFS#输出字段分隔符，默认也是空格

ORS#输出的记录分隔符，默认为换行符

RS#输入的记录分隔符，默认为换行符

此外,$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推

AWK入门指南：http://awk.readthedocs.org/en/latest/chapter-one.html

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!