Linux查找文件内容和字符串之grep与egrep详解

1. 前言

grep （global search regular expression_r(RE) and print out the line,全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是grep的扩展，支持更多的re元字符， fgrep就是fixed grep或fast grep，它们把所有的字母都看作单词，也就是说，正则表达式中的元字符表示回其自身的字面意义，不再特殊。linux使用GNU版本的grep。它功能更强，可以通过-G、-E、-F命令行选项来使用egrep和fgrep的功能。

grep的工作方式是这样的，它在一个或多个文件中搜索字符串模板。如果模板包括空格，则必须被引用，模板后的所有字符串被看作文件名。搜索的结果被送到屏幕，不影响原文件内容。

grep可用于shell脚本，因为grep通过返回一个状态值来说明搜索的状态，如果模板搜索成功，则返回0，如果搜索不成功，则返回1，如果搜索的文件不存在，则返回2。我们利用这些返回值就可进行一些自动化的文本处理工作。

除了grep，还有以下文本查找工具：

egrep (extended grep) egrep是grep的扩展，支持更多的re正则表达式元字符,等同于grep -E。

fgrep (fixed grep) 就是fixed grep或fast grep，它们把所有的字母都看作单词，也就是说，正则表达式中的元字符表示回其自身的字面意义，不再特殊,等同于grep -F,相对于grep和egrep的执行速度最快。

在使用这些工具时，我们需要有一些基本的shell功底和熟悉正则表达式：

正则表达式，又称正规表示法、常规表示法（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。

所谓元字符就是指那些在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符）在目标对象中的出现模式。

转义字符是这样一个字符，标志着在一个字符序列中出现在它之后的后续几个字符采取一种替代解释。转义字符是元字符（en:metacharacter）的一种特殊情况。通常，判定某字符是否为转义字符由上下文确定。转义字符即标志着转义序列开始的那个字符。

转义字符的英文为Escape character。原本是指ASCII中的十进制27，十六进制1D，八进制033所定义的那个字符。对应于标准键盘左上角的ESC键。老式键盘如果没有ESC键，替代输入是“Ctrl+[”。在老式的计算机外设控制协议，ASCII码的十进制27这个字符开始的一个字符序列，是外设的控制序列，不能按照这些字符的字面意义解释。后来，就把最初的狭义的Escape character的含义引申开来，在各种计算机语言与协议中，标志着一个转义序列开始的那个字符，都叫做Escape character。最常见的一个例子是C程序设计语言中，用反斜线字符“\”作为转义字符，来表示那些不可打印的ASCII控制符。在URI协议中，转义字符是百分号“%”。

2. grep命令选项

-?
同时显示匹配行上下的？行，如：grep -2 pattern filename同时显示匹配行的上下2行。

-b，--byte-offset
打印匹配行前面打印该行所在的块号码。

-c,--count
只打印匹配的行数，不显示匹配的内容。

-f File，--file=File
从文件中提取模板。空文件中包含0个模板，所以什么都不匹配。

-h，--no-filename
当搜索多个文件时，不显示匹配文件名前缀。

-i，--ignore-case
忽略大小写差别。

-q，--quiet
取消显示，只返回退出状态。0则表示找到了匹配的行。

-l，--files-with-matches
打印匹配模板的文件清单。

-L，--files-without-match
打印不匹配模板的文件清单。

-n，--line-number
在匹配的行前面打印行号。

-s，--silent
不显示关于不存在或者无法读取文件的错误信息。

-v，--revert-match
反检索，只显示不匹配的行。

-w，--word-regexp
如果被\<和>引用，就把表达式做为一个单词搜索。

-V，--version
显示软件版本信息。

3. grep实用案例

格式: grep [option] pattern filename 注意: pattern如果是表达式或者超过两个单词的, 需要用引号引用. 可以是单引号也可双引号, 区别是单引号无法引用变量而双引号可以.

要用好grep这个工具，其实就是要写好正则表达式，所以这里不对grep的所有功能进行实例讲解，只列几个例子，讲解一个正则表达式的写法。

[root@zcwyou ~]# ls -l | grep '^a'

通过管道过滤ls -l输出的内容，只显示以a开头的行。

[root@zcwyou ~]# grep 'test' d\*

显示所有以d开头的文件中包含test的行。

[root@zcwyou ~]# grep 'test' aa bb cc

显示在aa，bb，cc文件中匹配test的行。

[root@zcwyou ~]# grep '[a-z]\{5\}' aa

显示所有包含每个字符串至少有5个连续小写字符的字符串的行。

[root@zcwyou ~]# grep 'w\(es\)t.*\1' aa

如果west被匹配，则es就被存储到内存中，并标记为1，然后搜索任意个字符（.），这些字符后面紧跟着另外一个es（\1），找到就显示该行。如果用egrep或grep -E，就不用”\”号进行转义，直接写成’w(es)t.\1’就可以了。

参数说明：
-I ：忽略大小写
-c ：打印匹配的行数
-l ：从多个文件中查找包含匹配项
-v ：查找不包含匹配项的行
-n：打印包含匹配项的行和行标

RE（正则表达式）符号
\ 忽略正则表达式中特殊字符的原有含义
^ 匹配正则表达式的开始行
$ 匹配正则表达式的结束行
\< 从匹配正则表达式的行开始
> 到匹配正则表达式的行结束
单个字符；如[A] 即A符合要求
[ – ] 范围 ；如[A-Z]即A，B，C一直到Z都符合要求
. 所有的单个字符
* 所有字符，长度可以为0

3.1 只查看wget进程

[root@zcwyou ~]# ps -ef | grep wget

3.2 查找以root开头的行

[root@zcwyou ~]# grep '^root' /etc/group

3.3 查找含有http的行

[root@zcwyou ~]# grep 'http' /etc/group

3.4 查找以root结束的行

[root@zcwyou ~]# grep 'root$' /etc/group

3.5 在zcwyou.txt里查找包括abc的行

[root@zcwyou ~]# grep '\<abc\>' zcwyou.txt

或者

[root@zcwyou ~]# grep 'abc' zcwyou.txt

3.6 查找以abc开头的行

[root@zcwyou ~]# grep '^abc' zcwyou.txt

3.7 查找以.bak结束的行

注意一下，要把符号.转义

[root@zcwyou ~]# grep '\.bak$' file 包含以.bak

3.8 查找包含poly或Poly的单词的行

[root@zcwyou ~]# grep '[Pp]oly' zcwyou.txt

3.9 查找包含至少一个大写字母的行

[root@zcwyou ~]# grep '[A-Z]' zcwyou.txt

3.10 查找包含至少一个数字的行

[root@zcwyou ~]# grep '[0-9]' zcwyou.txt

3.11 查找包含五个字符,以大写开头, 和一个数字结尾的行.

[root@zcwyou ~]# grep '[A-Z]...[0-9]' zcwyou.txt

3.12 查找包含单词和test或者Test的行.

[root@zcwyou ~]# grep -w '[tT]est' zcwyou.txt

3.13 查找包含pepper pig的行, 但不打印行, 而是用来检查退出状态.

[root@zcwyou ~]# grep -s 'pepper pig' zcwyou.txt

3.14 打印文件内容但要排除含aaa的行。

[root@zcwyou ~]# grep -v aaa file

3.15 查找包括abc的行，不考虑大小写

[root@zcwyou ~]# grep -i abc zcwyou.txt

3.16 打印含pepper pig的文件内容和文件名清单

[root@zcwyou ~]# grep -l 'pepper pig' \*

3.17 查找zcwyou.txt 里含有ftp内容的行，并添加行号。

[root@zcwyou ~]# grep -n ftp zcwyou.txt 

12:ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

3.18 查找包含变量内容的行, 注意必须用双引号, 单引号则无法引用变量.

[root@zcwyou ~]# grep "$LOGNAME" zcwyou.txt 

3.19 查找包含字符$name的行

[root@zcwyou ~]# grep '$name' zcwyou.txt

4. egrep使用案例

egrep = grep -E 可以使用基本的正则表达外, 还可以用扩展表达式. 注意区别.
扩展表达式:
+ 匹配一个或者多个先前的字符, 至少一个先前字符.
? 匹配0个或者多个先前字符.
a|b|c 匹配a或b或c
() 字符组, 如: love(able|ers) 匹配loveable或lovers.
(..)(..)\1\2 模板匹配. \1代表前面第一个模板, \2代第二个括弧里面的模板.
x{m,n} =x{m,n} x的字符数量在m到n个之间.

4.1 打印以一个或者多个空格开头的行

[root@zcwyou ~]# egrep '^+' zcwyou.txt

或者

[root@zcwyou ~]# grep '^*' zcwyou.txt

4.2 查找包含TOM SAVAGE 和DAN SAVAGE的行

[root@zcwyou ~]# egrep '(TOM|DAN) SAVAGE' zcwyou.txt

4.3 查找至少包括一个ab的行

[root@zcwyou ~]# egrep '(ab)+' zcwyou.txt

4.4 查找包含x或者x后面跟着0个或者多个数字的行

[root@zcwyou ~]# egrep 'x[0-9]?' zcwyou.txt

4.5 查找所有文件里面以fun.结尾的行.

[root@zcwyou ~]# egrep 'fun\.$' *

4.6 查找至少包含一个大写字母的行.

[root@zcwyou ~]# egrep '[A-Z]+' zcwyou.txt

4.7 查找至少一个数字的行.

[root@zcwyou ~]# egrep '[0-9]' zcwyou.txt

4.8 查找有五个字符, 第一个式大写, 最后一个是数字的行.

[root@zcwyou ~]# egrep '[A-Z]...[0-9]' zcwyou.txt

4.9 查找包含单词test或Test的行.

[root@zcwyou ~]# egrep '[tT]est' zcwyou.txt

4.10 查找包含abc 123的行.

[root@zcwyou ~]# egrep 'abc 123' zcwyou.txt

4.11 查找不包含marry的行.

[root@zcwyou ~]# egrep -v 'marry' zcwyou.txt

4.12 忽略大小写查找含有jack的行

[root@zcwyou ~]# egrep -i 'jack' zcwyou.txt

4.13 查找包含abc 123的所有文件的清单

[root@zcwyou ~]# egrep -l "abc 123" * 

4.14 包含tom的行, 每行前面追加行号

[root@zcwyou ~]# egrep -n pack zcwyou.txt

4.15 查找变量名$name的内容, 不打印而是显示退出状态.

[root@zcwyou ~]# egrep -s "$name" zcwyou.txt

0表示找到. 1表示表达式没找到符合要求的, 2表示文件没找到.

5. 正则表达式

5.1 grep正则表达式元字符集（基本集）

^
锚定行的开始 如：’^grep’匹配所有以grep开头的行。

锚定行的结束 如：’grep‘匹配所有以grep结尾的行。

.
匹配一个非换行符的字符如：’gr.p’匹配gr后接一个任意字符，然后是p。

• 匹配零个或多个先前字符如：’*grep’匹配所有一个或多个空格后紧跟grep的行。 .*一起用代表任意字符。

[]
匹配一个指定范围内的字符，如'[Gg]rep’匹配Grep和grep。

[^]
匹配一个不在指定范围内的字符，如：'[^A-FH-Z]rep’匹配不包含A-R和T-Z的一个字母开头，紧跟rep的行。

(..)
标记匹配字符，如’(love)’，love被标记为1。

\<
锚定单词的开始，如:’\<grep’匹配包含以grep开头的单词的行。

>
锚定单词的结束，如’grep>’匹配包含以grep结尾的单词的行。

x{m}
重复字符x，m次，如：’0{5}’匹配包含5个o的行。

x{m,}
重复字符x,至少m次，如：’o{5,}’匹配至少有5个o的行。

x{m,n}
重复字符x，至少m次，不多于n次，如：’o{5,10}’匹配5-10个o的行。

\w
匹配文字和数字字符，也就是[A-Za-z0-9]，如：’G\w*p’匹配以G后跟零个或多个文字或数字字符，然后是p。

\W
\w的反置形式，匹配一个或多个非单词字符，如点号句号等。

\b
单词锁定符，如: ‘\bgrep\b’只匹配grep。

5.2 用于egrep和 grep -E的元字符扩展集

+
匹配一个或多个先前的字符。如：'[a-z]+able’，匹配一个或多个小写字母后跟able的串，如loveable,enable,disable等。

?
匹配零个或多个先前的字符。如：’gr?p’匹配gr后跟一个或没有字符，然后是p的行。

a|b|c
匹配a或b或c。如：grep|sed匹配grep或sed

()
分组符号，如：love(able|rs)ov+匹配loveable或lovers，匹配一个或多个ov。

x{m},x{m,},x{m,n}
作用同x{m},x{m,},x{m,n}

5.3 POSIX字符类

为了在不同国家的字符编码中保持一至，POSIX(The Portable Operating System Interface)增加了特殊的字符类，如[:alnum:]是A-Za-z0-9的另一个写法。要把它们放到[]号内才能成为正则表达式，如[A- Za-z0-9]或[[:alnum:]]。在linux下的grep除fgrep外，都支持POSIX的字符类。

[:alnum:]
文字数字字符

[:alpha:]
文字字符

[:digit:]
数字字符

[:graph:]
非空字符（非空格、控制字符）

[:lower:]
小写字符

[:cntrl:]
控制字符

[:print:]
非空字符（包括空格）

[:punct:]
标点符号

[:space:]
所有空白字符（新行，空格，制表符）

[:upper:]
大写字符

[:xdigit:]
十六进制数字（0-9，a-f，A-F）