加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 百科 > 正文

DAY7:文本处理工具及正则表达式

发布时间:2020-12-13 22:05:26 所属栏目:百科 来源:网络整理
导读:8月4号,主要学习内容如下: 一、抽取文本的工具:less,cat,head,tail,cut 二、分析文本的工具:wc,sort,diff,patch 二、grep及正则表达式 三、egrep扩展正则表达式 一、抽取文本的工具 1)文件查看命令: cat [OPTION]... [FILE]... -E: 显示行结束符$ -n:

8月4号,主要学习内容如下:

一、抽取文本的工具:less,cat,head,tail,cut

二、分析文本的工具:wc,sort,diff,patch

二、grep及正则表达式

三、egrep扩展正则表达式



一、抽取文本的工具

1)文件查看命令:

  • cat [OPTION]... [FILE]...

    -E: 显示行结束符$

    -n: 对显示出的每一行进行编号

    -A:显示所有控制符

    -b:非空行编号

    -s:压缩连续的空行成一行

  • tac

    功能与cat相同,显示内容为cat的逆序

2)分页查看工具

  • more:分页查看文件

    more [OPTIONS...] FILE...

    -d: 显示翻页及退出提示

  • less:一页一页地查看文件或STDIN输出
    查看时有用的命令包括:

    /文本 搜索 文本

    n/N 跳到下一个 or 上一个匹配

    less 命令是man命令使用的分页器

3)显示文本前或后行内容

  • head

    head [OPTION]... [FILE]...

    -c #: 指定获取前#字节

    -n #: 指定获取前#行

    -#: 指定行数(同-n#)

  • tail

    tail [OPTION]... [FILE]...

    -c #: 指定获取后#字节

    -n #: 指定获取后#行

    -#:指定行数

    -f: 跟踪显示文件新追加的内容,常用日志监控

4)按列抽取文本cut和合并文件paste

  • cut [OPTION]... [FILE]...
    -d DELIMITER: 指明分隔符,默认tab(-d和分隔符之间可以没有空格)

    -f FILEDS:

    #: 第#个字段

    #,#[,#]:离散的多个字段,例如1,3,6

    #-#:连续的多个字段,例如1-6

    混合使用:1-3,7

    -c 按字符切割 --output-delimiter=STRING指定输出分隔符

    cut -d: -f1 /etc/passwd

    cat /etc/passwd | cut -d: -f7

    cut -c2-5 /usr/share/dict/words

  • paste 合并两个文件同行号的列到一行
    -d 分隔符:指定分隔符,默认用TAB

    -s : 所有行合成一行显示

    paste f1 f2

    paste -s f1 f2



二、文本分析工具

1)文本数据统计

wc:计数行总数、单词总数、字符总数(和字节总数),可以对文件或STDIN中的数据运行

wc story.txt

39 237 1901 story.txt

行数 字数 字符数

-l 只计数行数

-w 只计数单词总数

-c 只计数字节总数

-m 只计数字符总数


2)文本排序

sort:把整理过的文本显示在STDOUT(默认按照字符大小排序) 不改变原始文件

sort [options] file(s)
-r 执行反方向(由上至下)整理

-n 执行按数值大小整理

-f 选项忽略(fold)字符串中的字符大小写

-u 选项(独特,unique)删除输出中的重复行

-t c 选项使用c做为字段界定符

-k X 选项按照使用c字符分隔的X列来整理 能够使用多次


3)除重

uniq:从输入中删除重复的前后相接的行

uniq [OPTION]... [FILE]...

-c: 显示每行重复出现的次数

-d: 仅显示重复过的行

-u: 仅显示不曾重复的行:连续且完全相同方为重复

常和sort 命令一起配合使用: sort userlist.txt | uniq -c


4)比较文件

diff:逐行比较两个文件之间的区别,

diff [OPTION]... [OLDFILE] [NEWFILE] 显示oldfile与newfile相比的不同和措施

diff foo.conf-broken foo.conf-works

5c5 (注明第5行有区别)

< use_widgets = no

---

> use_widgets = yes

-u 显示变化行的上下文,默认3行(适用于补丁文件)

diff /PATH/TO/OLDFILE /PATH/TO/NEWFILE > /PATH/TO/PATCH_FILE

diff还可用于比较两个不同目录,显示其中每个文件的差别


patch:复制对文件改变(向文件打补丁)

patch -i /PATH/TO/PATCH_FILE /PATH/TO/OLDFILE

patch /PATH/TO/OLDFILE < /PATH/TO/PATCH_FILE

-b 选项来自动备份改变了的文件



三、grep及正则表达式

1)Linux上文本处理三剑客

grep:文本过滤(模式:pattern)工具

grep,egrep(支持扩展正则表达式),fgrep(不支持正则表达式搜索)

sed:stream editor,文本编辑工具

awk:Linux上的实现gawk,文本报告生成器


2)grep:Global search REgular expression and Print out the line

作用::文本搜索工具,根据用户指定的“模式”对目标文 本逐行进行匹配检查;打印匹配到的行; 模式:由正则表达式字符及文本字符所编写的过滤条件

grep [OPTIONS] PATTERN [FILE...]

grep root /etc/passwd

grep [OPTIONS] PATTERN [FILE...] grep root /etc/passwd

命令选项:

--color=auto: 对匹配到的文本着色显示

-v: 显示不能够被pattern匹配到的行

-i: 忽略字符大小写

-n:显示匹配的行号

-c: 统计匹配的行数

-o: 仅显示匹配到的字符串

-q: 静默模式,不输出任何信息 (配合echo $? 可用于写脚本)

-A #:after,同时显示后#行

-B #: before,前#行

-C #:context,前后各#行

-e:实现多个选项间的逻辑or关系

grep ?e ‘cat ’ -e ‘dog’ file

-w:整行匹配整个单词

-E:使用ERE扩展的正则表达式


3)正则表达式

  • REGEXP:由一类特殊字符及文本字符所编写的模式,其中有 些字符(元字符)不表示字符字面意义,而表示控制或通配的功能

  • 程序支持:grep,vim,less,nginx等

  • 分两类: 基本正则表达式:BRE 扩展正则表达式:ERE

  • 元字符分类:字符匹配、匹配次数、位置锚定、分组


4)基本正则表达式

  • 字符匹配

    . : 匹配任意单个字符

    [] : 匹配指定范围内的任意单个字符

    [^] :匹配指定范围外的任意单个字符

    [:digit:]、[:lower:]、[:upper:]、[:alpha:]、[:alnum:] 、[:punct:]、[:space:]

  • 匹配次数(默认工作于贪婪模式:尽可能长的匹配)

    用在要指定次数的字符后面,用于指定前面的字 符要出现的次数

    *:匹配前面的字符任意次,包括0次

    .*:任意长度的任意字符

    ?:匹配其前面的字符0或1次

    +:匹配其前面的字符至少1次

    {m}:匹配前面的字符m次

    {m,n}:匹配前面的字符至少m次,至多n次

    {0,n}:匹配前面的字符至多n次

    {m,}:匹配前面的字符至少m次

  • 位置锚定:定位出现的位置

    ^:行首锚定,用于模式的最左侧(^root 以root开头的行)

    $:行尾锚定,用于模式的最右侧(root$ 以root结尾的行)

    ^PATTERN$: 用于模式匹配整行(整行只有此PATTERN)

    ^$: 空行(空白字符也不包括)

    ^[[:space:]]*$ :空白行(空行或包含空白字符的行)

    单词:非特殊字符组成的连续字符(字符串)(包括数字,不包含特殊字符)

    &; 或 b:词首锚定,用于单词模式的左侧

    &; 或 b:词尾锚定;用于单词模式的右侧

    &;PATTERN&;:匹配整个单词

  • 分组及引用

    分组:( ):将一个或多个字符捆绑在一起,当作一个整体进 行处理,如:(root)+
    注:分组括号中的模式匹配到的内容会被正则表达式引擎记录 于内部的变量中,这些变量的命名方式为: 1,2,3,...

    1: 从左侧起,第一个左括号以及与之匹配右括号之间 的模式所匹配到的字符

    实例: (string1+(string2)*)

    1: string1+(string2)*

    2: string2

    后向引用:引用前面的分组括号中的模式所匹配字符(而 非模式本身)



四、egrp及扩展的正则表达式

1)egrep

egrep = grep -E

egrep [OPTIONS] PATTERN [FILE...]


2)扩展正则表达式

  • 字符匹配(同基本正则表达式)

  • 次数匹配

    *:匹配前面字符任意次

    ?: 0或1次

    +:1次或多次

    {m}:匹配m次

    {m,n}:至少m,至多n次

    {0,n} {m,}

  • 位置锚定(同基本正则表达式)

  • 分组

    ()

    后向引用:1,.....

  • 或者

    a|b

    C|cat: C或cat

    (C|c)at:Cat或cat


3)fgrep

不支持正则表达式元字符:当无需用到元字符去编写模式时,使用fgrep更好

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读