编程语言和shell编程的基础内容以及grep、egrep命令及相应的正则
|
bash的特性之多命令执行的逻辑关系： 1.命令替换（命令之间无明确的逻辑依赖关系） COMMAND1 $（COMMAND2） 2.管道（命令之间无明确的逻辑依赖关系） COMMAND1 | COMMAND2 | COMMAND3 前面的命令无论执行成功与失败后面命令继续执行；管道命令的前一个命令应该有标准和输出否则用“；”隔开 例如：useradd sola ；echo 456 | passwd --stdin sola 3.顺序执行结构 COMMAND1；COMMAND2；COMMAND3 … 4.选择执行结果 如果……那么…… 要么……要么…… 逻辑运算： 与：逻辑乘法，1--真，0--假，&&（bash中的and符号）,双目操作符 1&&1=1 1&&0=0 0&&0=0 0&&1=0 “与”运算的短路运算法则：只要第一个操作数为false，则其逻辑运算结果一定为false 或：逻辑加法，1--真，0--假，||，双目操作符 1||1=1 1||0=1 0||1=1 0||0=0 “或”运算的短路法则：只要第一个数为ture，则其逻辑运算结果一定为ture “非”：逻辑取反，1--真，0--假，！，单目操作 ！0=1 ！1=0 命令执行的状态返回值： SUCCESS：0--TURE FAILURE：1-255--FALSE COMMAND1 && COMMAND2 表示： 1.如果COMMAND1能够成功执行，那么将会执行COMMAND2； 2.如果COMMAND1执行失败，那么COMMAND2将不会执行； COMMAND1 || COMMAND2 表示： 1.只有COMMADN1执行失败，COMMAND2才会被执行； 2.如果COMMAND1执行成功，COMMAND2将不会被执行； !COMMAND1 && COMMAND2 相当于 COMMAND1 || COMMAND2 !COMMAND1 || COMMAND2 相当于 COMMAND1 && COMMAND2 德?摩根定律 !(COMMAND1 && COMMAND2) || COMMAND3 !(COMMAND1 || COMMAND2) && COMMAND3 !(A && B) =!A || !B !(A || B) =!A && !B 三种逻辑运算的优先级： ! > && > || 示例： 如果用户user4存在并且其家目录也存在，那么就执行userdel -r user4命令； id user4 && ls -d /home/user4 && userdel -r user4 bash脚本编程： 什么叫编程？ 使用人类自然语言或机器语言进行程序源代码书写的过程。 为什么要编程？ 为了能够让用户在使用计算机的时候，可以让计算机以非交互的方式完成某些任务；此时，用户需要将此类任务编辑成为一个文件，并且让计算机按照特定书序进行任务读取，从而实现预期的功能； 为了让计算机能够解读此类文件的内容并正确的予以执行，必须将程序源代码文件转换为计算机可以直接识别并使用的二进制格式，此转换过程称为编译；而想要完成编译过程，必须使用特定的编译器工具；因此无论实用和重编程语言进行程序编写必须严格按照编译器能够识别的特定格式和语法结构进行程序编写； 编程语言： 高级语言： 根据源代码的处理方式： 编译型语言： 源代码 -->编译器(编译) -->[链接器(链接) -->]汇编器(汇编) -->可以执行的二进制代码文件； 解释型语言： 源代码 -->解释器(逐行解释) -->边解释边执行 根据编程过程中的功能实现是库调用 还是调用外部程序文件分类： 完整编程语言： 利用库或编程组件进行编程 脚本编程语言： 利用解释器调用被选择的外部应用程序 根据程序的编写规范分类： 过程式语言： 程序=指令+数据 以指令为中心，围绕指令的功能实现设计数据和数据结构，数据为指令服务； 算法和指令的实现形式： 顺序执行 选择执行 循环执行 面向对象语言： 程序=算法+数据结构 以数据和数据结构为中心，将数据实例化，围绕数据的需求来部署算法； 类(Class)：被实例化的数据 属性(attbition)：同一类的不同对象的区分依据 方法(method)：类的正确的操作方法； 低级语言： 汇编语言： 机器语言：二进制语言 shell脚本编程――bash脚本编程： 过程式编程语言，解释运行的编程语言，脚本类语言（靠外部应用程序文件运行） shell脚本到底是什么？ 1.纯文本文档――文件中所有存储或包含的指令+数据都是以字符为单位存储的； 2.根据用户的需求来解决用户问题的简单或复杂的命令组合体； 3.是一种具有“执行幂等性”的程序实体； 执行幂等性：任何命令的一次执行结果和多次执行结果是一致的； 注意： 很多的命令都不具备执行幂等性，因此在shell脚本中需要使用大量的程序逻辑来判断某个命令是否符合其运行条件，从而避免在运行过程中出现的严重错误； shell脚本中的代码内容是如何书写？ 1.首行必须是shebang，即解释器程序的绝对路径，必须占据绝对行首且必须单独占据第一行；在执行脚本时，会根据shebang的指示，启动相应的解释器以解释脚本中诸多的命令： #！/bin/bash #！bin/sh #！/usr/bin/python #！/usr/bin/per1 …… 2.在shell脚本中，除了shebang之外，所有行首为#字符的行，均被解释为注释行； 即：解释器只会解释其内容，但并不予以执行； 3.解释器会忽略脚本文件中所有的空白行，空白行指的是：在一行文本中，除了空白字符，空格字符，制表字符之外不具备其他任何类型字符的行： 4.大量的命令和关键字 命令：内部或外部应用程序 关键字：内置于shell，只能在某种特定结构体中执行的命令：keyword； 如：if，else，then，do，while，for，select，until，case，fi， 5.shell中的所有的特殊功能字符； 注意：所有被编写进shell脚本文档的命令、关键字及符号必须是ASCII编码格式的字符，其他编码格式的字符可以出现在shell脚本文件中，但不具备特殊含义； 如何编写shell脚本？ 可以利用所有的文本文档编辑工具进行shell脚本编写，如： nano，vi，vim，pico，emacs，…… 通常在Linux的各发行版本中，推荐使用vim； 脚本文件的命名方式： 一般情况下，会为脚本设置“.sh”的名称后缀，较低版本的编辑工具，会根据文件的后缀名称来识别是否为shell脚本文件，较高版本的文本编辑工具，如bim7，无需过多的关心文件后缀名的问题。 脚本的运行方式： 1.为脚本文件赋予执行权限，可以直接以绝对路径或相对路径的方式运行此文件： # chmod +x /PATH/TO/SOME_SCRIPT_FILE # /PATH/TO/SOME_SCRIPT_FILE 注意：如果脚本文件所在目录路径存储于PATH变量中，则直接以脚本文件名来执行即可； 2.直接使用解释器来运行脚本，将脚本文件作为解释其程序的参数； # bash /PATH/TO/SOME_SCRIPT_FILE bash命令的常用选项： -x：使bash在解释脚本的过程展示在标准输出上；一般用于为shell脚本排错； -n：对脚本文件进行预执行，以分析脚本中是否存在语法错误，如果没有错误则不会输出任何信息；相反，则输出一些简洁的提示信息；具体的错误定位还需要我们自己定位判断； 注意：此种方式中，脚本文件是否有执行权限并不是很重要的属性； 特别注意：以上两种方式，在执行脚本时，会在当前shell中开启一个新的子shell以运行脚本；一般情况下，当脚本运行结束，该子shell也会被随之销毁；因此，所有在脚本中定义的变量，在脚本的末尾处，最好将其明确的撤销，否则会影响当前shell环境； 3.使用source命令来运行脚本： # source /PATH/TO/SOME_SCRIPT_FILE # . /PATH/TO/SOME_SCRIPT_FILE 注意： 1.source命令不会在运行脚本时开启子shell，而是在当前shell中运行； 2.使用source命令执行的脚本中不要包括诸如exit类的命令 练习：写一个脚本 当alex用户不存在时，创建之；如果成功创建，则显示成功创建的提示信息，否则显示用户已存在。 [root@localhost ~]# vim user.sh #!/bin/bash # ! id alex && useradd alex && echo "Create user alex finished." || echo "User alex exists already." [root@localhost ~]# bash user.sh uid=1001(alex) gid=1001(alex) 组=1001(alex) User alex exists already. [root@localhost ~]# userdel alex [root@localhost ~]# bash user.sh id: alex: no such user useradd：警告：此主目录已经存在。 不从 skel 目录里向其中复制任何文件。 正在创建信箱文件: 文件已存在 Create user alex finished. 利用bash脚本程序实现算术运算： 算术运算操作符： 常用的基本算术符： +.-.*./.%.** 增强型的算术运算符： +=，-=，*=，/=，%= 特殊的增强型算术运算符： ++，-- 算术运算方法： 1.$[expression] 其中的表达式可以是纯数字组成的，也可以使用变量引用变量值；在使用变量时，可以将$符号省略； 示例： # echo $[3+4] # NUM1=5 ;NUM2=4; echo $[NUM1*MUM2] 2.let VAR=EXPRESSION 根据算数表达式完成算术运算并赋值给指定的变量 3.$((EXPRESSION)) 其中的表达式可以是纯数字组成的，也可以使用变量引用变量值；在使用变量时，可以将$符号省略； 4.expr ARGUEMENT1 ARGUEMENT2 ARGUEMENT3 其中ARGU1和ARGU3必须是整数数值；ARGU2是算数运算符 5.echo "EXPRESSION" | bc 6.bc <<< "scale=3;35/9" 输出3.88 [root@localhost ~]# bc <<< "scale=3;35/9" 3.888 应用： [root@localhost ~]# ls /etc | wc -l 276 [root@localhost ~]# ls /var | wc -l 22 [root@localhost ~]# echo $[$(ls /etc | wc -l)+$(ls /var | wc -l)] 298
文本处理工具： 全屏编辑器：vim nano 行编辑器： 文本处理三剑客：grep系，sed，awk grep系：grep，egrep，fgrep，文本搜索工具；基于PATTERN(模式)对于给定的文本文件进行模糊搜索，grep系所有命令默认工作于贪婪搜索模式(尽可能多的匹配)； sed：Stream EDitor，流编辑器，文本编辑工具 awk：文本格式化工具，文件报告生成器，文件处理的编程语言； grep系： grep：Global search Regular Expression and Print out the line， 利用正则表达式进行全局搜索并将匹配的行显示出来； 格式：grep [OPTIONS] PATTERN [FILE...] grep [OPTIONS] [-e PATTERN | -f FILE] [FILE...] PATTERN：过滤匹配条件，是有没有特殊意义的文本字符或者是正则表达式元字符组成； 正则表达式的元字符：会被正则表达式处理引擎解释为特殊含义的字符； pcre：正则表达式处理引擎，prel语言的正则表达式引擎； [root@localhost ~]# alias alias cp='cp -i' alias egrep='egrep --color=auto' alias fgrep='fgrep --color=auto' alias grep='grep --color=auto' alias l.='ls -d .* --color=auto' alias ll='ls -l --color=auto' alias ls='ls --color=auto' alias mv='mv -i' alias rm='rm -i' alias which='alias | /usr/bin/which --tty-only --read-alias --show-dot --show-tilde' 因此在执行grep和egrep时会有颜色标记 正则表达式的元字符： 基本的正则表达式元字符：BRE [root@localhost ~]# touch liuneng [root@localhost ~]# vim liuneng [root@localhost ~]# cat liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day.
abcd ABCD 22345 354435hhahfhg 字符匹配类： .：匹配任意的单个字符； [root@localhost ~]# grep ".p" liuneng If you give me 8 apples,i will have 15 apples. []：匹配任意指定范围内的单个字符； [root@localhost ~]# grep "[ ]" liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day.
[^]：匹配任意指定范围以外的单个字符； [root@localhost ~]# grep "[^T]" liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day.
abcd ABCD 22345 354435hhahfhg 下列的所有字符集都可以放置于[]内用于匹配字符集范围内的单个字符： [:lower:]：所有的小写字母 [root@localhost ~]# grep "[[:lower:]]" liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day. abcd 354435hhahfhg [:upper:]：所有的大写字母； [root@localhost ~]# grep "[[:upper:]]" liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day. ABCD [:digit:]：所有单个的十进制数字； [root@localhost ~]# grep "[[:digit:]]" liuneng If you give me 8 apples,i will have 15 apples. 22345 354435hhahfhg [:alnum:]：所有的字母和十进制数字； [root@localhost ~]# grep "[[:alnum:]]" liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day. abcd ABCD 22345 354435hhahfhg [:punct:]：所有的符号； [root@localhost ~]# grep "[[:punct:]]" liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day. [:space:]：表示空白字符，包括空格和制表符； [root@localhost ~]# grep "[[:space:]]" liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day.
[:xdigit:] ：所有16进制的数字； 下面这三个要严格与 Globbing――文件名通配符中的bash内建字符集区分开 [a-z]:仅表示所有的小写字母 [root@localhost ~]# grep "[a-z]" liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day. abcd 354435hhahfhg [A-Z]：仅表示所有的大写字母 [root@localhost ~]# grep "[A-Z]" liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day. ABCD [0-9]：仅表示所有的十进制数码 [root@localhost ~]# grep "[0-9]" liuneng If you give me 8 apples,i will have 15 apples. 22345 354435hhahfhg 次数匹配类：该类字符前面的一个字符可以出现的次数； [root@localhost ~]# touch nihao [root@localhost ~]# vim nihao [root@localhost ~]# cat nihao aabbcc abc acbcaaabbbvvfffccdaw afggsdgalkljglas;dgj;l ;sldfkjlsfkj flksajfldjkl eoifjwoinihoahg ljkjjjjjgggke *：其前面的字符可以出现任意次，即：0次、1次或多次 [root@localhost ~]# grep "a*b" nihao aabbcc abc acbcaaabbbvvfffccdaw ?：其前面的字符可有可无，即：0次或1次； [root@localhost ~]# grep "d?v" nihao aabbcc abc acbcaaabbbvvfffccdaw +：前面的字符至少出现一次； [root@localhost ~]# grep "s+d" nihao afggsdgalkljglas;dgj;l {m,n}：其前面的字符至少出现m次，最多不超过n次； [root@localhost ~]# grep "g{1,2}" nihao afggsdgalkljglas;dgj;l eoifjwoinihoahg ljkjjjjjgggke [root@localhost ~]# grep "g{1,2}s" nihao afggsdgalkljglas;dgj;l {m}：其前面的字符必须出现m次； [root@localhost ~]# grep "j{1}w" nihao eoifjwoinihoahg {m,}：其前面的字符至少出现m次； [root@localhost ~]# grep "j{1,}w" nihao eoifjwoinihoahg {,n}：其前面的字符出现次数不超过n次，最少0次 [root@localhost ~]# grep "g{,3}k" nihao afggsdgalkljglas;dgj;l ;sldfkjlsfkj flksajfldjkl ljkjjjjjgggke 注意：在正则表达式中，表示任意长度的任意字符：.* 位置锚定字符： 行锚定： 行首锚定：^ 行尾锚定：$ 字锚定： 字首锚定：&;或b 字尾锚定：&;或b 示例：寻找文件中空白行行数 [root@localhost ~]# grep "^[[:space:]]*$" nihao | wc -l 3 分组与前向引用字符： ()：将()中包含的内容作为一个不可分割的整体来处理； 示例： [root@localhost ~]# grep "(us)+e" /etc/passwd usbmuxd:x:113:113:usbmuxd user:/:/sbin/nologin tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin saslauth:x:993:76:Saslauthd user:/run/saslauthd:/sbin/nologin radvd:x:75:75:radvd user:/:/sbin/nologin qemu:x:107:107:qemu user:/:/sbin/nologin rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin 1,2,3,……： 前向引用 正则表达式处理引擎的内置变量，1表示前面所出现的第一组()中括选的内容，2表示前面所出现的第二组()中括选的内容…… (string1(string2)) 或者(string1).*(string2)：1表示string1，2表示string2 或者： |：将其左右的字符或字符串当做整体对待； 扩展的正则表达式元字符：ERE [root@localhost ~]# touch liuneng [root@localhost ~]# vim liuneng [root@localhost ~]# cat liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day.
abcd ABCD 22345 354435hhahfhg 字符匹配类： .：匹配任意的单个字符； [root@localhost ~]# egrep ".p" liuneng If you give me 8 apples,i will have 15 apples. []：匹配任意指定范围内的单个字符； [root@localhost ~]# egrep "[ ]" liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day.
[^]：匹配任意指定范围以外的单个字符； [root@localhost ~]# egrep "[^T]" liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day.
abcd ABCD 22345 354435hhahfhg 下列的所有字符集都可以放置于[]内用于匹配字符集范围内的单个字符： [:lower:]：所有的小写字母 [root@localhost ~]# egrep "[[:lower:]]" liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day. abcd 354435hhahfhg [:upper:]：所有的大写字母； [root@localhost ~]# egrep "[[:upper:]]" liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day. ABCD [:digit:]：所有单个的十进制数字； [root@localhost ~]# egrep "[[:digit:]]" liuneng If you give me 8 apples,i will have 15 apples. 22345 354435hhahfhg [:alnum:]：所有的字母和十进制数字； [root@localhost ~]# egrep "[[:alnum:]]" liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day. abcd ABCD 22345 354435hhahfhg [:punct:]：所有的符号； [root@localhost ~]# egrep "[[:punct:]]" liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day. [:space:]：表示空白字符，包括空格和制表符； [root@localhost ~]# egrep "[[:space:]]" liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day.
[:xdigit:] ：所有16进制的数字； 下面这三个要严格与 Globbing――文件名通配符中的bash内建字符集区分开 [a-z]:仅表示所有的小写字母 [root@localhost ~]# egrep "[a-z]" liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day. abcd 354435hhahfhg [A-Z]：仅表示所有的大写字母 [root@localhost ~]# egrep "[A-Z]" liuneng She is a good girl. The dog likes eating bone. If you give me 8 apples,i will have 15 apples. Today is not a good day. ABCD [0-9]：仅表示所有的十进制数码 [root@localhost ~]# egrep "[0-9]" liuneng If you give me 8 apples,i will have 15 apples. 22345 354435hhahfhg 次数匹配类：该类字符前面的一个字符可以出现的次数； [root@localhost ~]# touch nihao [root@localhost ~]# vim nihao [root@localhost ~]# cat nihao aabbcc abc acbcaaabbbvvfffccdaw afggsdgalkljglas;dgj;l ;sldfkjlsfkj flksajfldjkl eoifjwoinihoahg ljkjjjjjgggke *：其前面的字符可以出现任意次，即：0次、1次或多次 [root@localhost ~]# egrep "a*b" nihao aabbcc abc acbcaaabbbvvfffccdaw ?：其前面的字符可有可无，即：0次或1次； [root@localhost ~]# egrep "d?v" nihao aabbcc abc acbcaaabbbvvfffccdaw +：前面的字符至少出现一次； [root@localhost ~]# egrep "s+d" nihao afggsdgalkljglas;dgj;l {m,n}：其前面的字符至少出现m次，最多不超过n次； [root@localhost ~]# egrep "g{1,2}" nihao afggsdgalkljglas;dgj;l eoifjwoinihoahg ljkjjjjjgggke [root@localhost ~]# egrep "g{1,2}s" nihao afggsdgalkljglas;dgj;l {m}：其前面的字符必须出现m次； [root@localhost ~]# egrep "j{1}w" nihao eoifjwoinihoahg {m,}：其前面的字符至少出现m次； [root@localhost ~]# egrep "j{1,}w" nihao eoifjwoinihoahg {,n}：其前面的字符出现次数不超过n次，最少0次 [root@localhost ~]# egrep "g{,3}k" nihao afggsdgalkljglas;dgj;l ;sldfkjlsfkj flksajfldjkl ljkjjjjjgggke 注意：在正则表达式中，表示任意长度的任意字符：.* 位置锚定字符： 行锚定： 行首锚定：^ 行尾锚定：$ 字锚定： 字首锚定：&;或b 字尾锚定：&;或b 示例：寻找文件中空白行行数 [root@localhost ~]# egrep "^[[:space:]]*$" nihao | wc -l 3 分组与前向引用字符： ()：将()中包含的内容作为一个不可分割的整体来处理； 正则表达式处理引擎的内置变量，1表示前面所出现的第一组()中括选的内容，2表示前面所出现的第二组()中括选的内容…… (string1(string2)) 或者(string1).*(string2)：1表示string1，2表示string2 或者： |：将其左右的字符或字符串当做整体对待 “C |cat” C cat grep系： grep：仅支持基本正则表达式元字符 egrep：可以支持扩展正则表达式元字符 fgrep：不支持任何形式的正则表达式元字符，将所有的字符都视为没有任何特殊意义的普通文本字符： 常用选项： -A num：同时显示被PATTERN匹配到的行及其后续num行； -B num：同时显示被PATTERN匹配到的行及其前面num行； -C num：同时显示被PATTERN匹配到的行及其前后num行； --color[=WHEN]：以高亮颜色显示匹配到的内容； -c，--count：不输出被PATTERN匹配的行的内容，而是输出被PATTERN匹配到的行数； -E,--extended-regexp：可以使grep命令支持扩展正则表达式元字符；相当于执行了egrep命令； -F,--fixed-strings,--fixed-regexp：相当于fgrep -e PATTERN,--regexp=PATTERN；指定多个PATTERN在一个命令行中生效； -f FILE,--file=FILE：从指定的文件中读取多个PATTERN用一次搜索； -i,--ignore-case：忽略文件中字符的大小写 -o,--only-matching：仅显示被PATTERN匹配到的部分，关闭贪婪模式(在我们取字符串的时候很有用) -q,--quiet,--silent：安静模式；相当于grep > /dev/null -v,--invert-match：显示没有被PATTERN匹配到的行； （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |