文本处理三剑客——grep、sed、awk

原创 于 2025-09-13 22:17:25 发布 · 2.1k 阅读 · 30
标签
#linux #运维开发 #运维 #正则表达式 #centos

文本处理三剑客——grep、sed、awk

一、grep

以下是 grep 命令常用选项及功能的表格说明：
命令格式 功能描述
grep "字符串" 过滤并显示包含指定“字符串”的行
grep -v "字符串" 反向过滤，显示不包含指定“字符串”的行
grep ^"字符串" 过滤并显示以指定“字符串”开头的行
grep "字符串"$ 过滤并显示以指定“字符串”结尾的行
grep ^$ 过滤并显示空行（仅包含换行符的行）
grep -i "字符串" 过滤时不区分大小写，匹配大小写不同的相同字符
grep -o "字符串" 仅显示每行中与“字符串”匹配的部分，而非整行

二、sed

1、sed简介

sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容发送往屏幕。然后读入下行，执行下一个循环。
如果没有诸如“D”的特殊命令，那会在两个循环之间清空模式空间，但不能清除保留空间。这样不断重复，直到文件末尾。（文件内容并没有改变，除非你使用重定向存储输出或-i）

2、选项
以下是 sed 命令常用选项及其说明的表格：
选项 功能描述
-n 不打印模式空间（仅显示经过处理的行，默认情况下 sed 会打印输入内容）
-e 直接在命令行中指定要执行的脚本或表达式，用于处理输入数据
-f 从指定文件中读取 sed 动作（脚本）并执行
-i 直接修改原文件内容（不创建备份），若需备份可使用 -i.bak 形式
-r 启用扩展正则表达式支持（无需对 ?、+、() 等元字符转义）
3、命令
以下是 sed 常用核心命令（动作）及其功能描述的表格：
sed 命令 功能描述
s/regexp/replace/ 替换字符串：用 replace 替换模式空间中匹配 regexp（正则表达式）的内容
p 打印当前模式空间中的内容（常与 -n 搭配，避免重复输出）
P（大写） 仅打印模式空间中的第一行（若模式空间包含多行，如通过 N 追加的内容）
d 删除当前模式空间中的内容，直接开始下一次循环（不打印被删除行）
D（大写） 删除模式空间中的第一行，若剩余内容非空则继续处理，否则开始下一次循环
= 打印当前模式空间对应行的行号（行号单独占一行输出）
a \text 在当前行的下方追加指定文本 text（\ 用于分隔命令与文本）
i \text 在当前行的上方插入指定文本 text（\ 用于分隔命令与文本）
c \text 用指定文本 text 替换当前选中的行（整行替换为 text）
q 立即退出 sed 脚本，不再处理后续输入行
r filename 从指定文件 filename 中读取内容，追加到当前模式空间对应行的下方
h 将模式空间中的内容覆盖复制到保持空间（覆盖原有保持空间内容）
H 将模式空间中的内容追加到保持空间（原有保持空间内容后加换行再追加）
g 将保持空间中的内容覆盖复制到模式空间（覆盖原有模式空间内容）
G 将保持空间中的内容追加到模式空间（原有模式空间内容后加换行再追加）
x 交换模式空间与保持空间中的内容（两者内容互换）
l（小写L） 打印模式空间中的行，并显示控制字符（如换行符用 $ 标记，Tab 用 \t 等）
n 读取下一行输入到模式空间，覆盖原有模式空间内容，然后继续执行后续命令
N 读取下一行输入，追加到模式空间末尾（与原有内容用换行分隔，形成多行模式空间）
w filename 将当前模式空间中的内容写入到指定文件 filename（若文件存在会覆盖）
! 对匹配条件取反，仅对“不满足匹配条件”的行执行后续命令（如 2!d 表示不删除第2行）
& 在替换命令（s/../../）中引用“已匹配 regexp 的字符串”（如 s/abc/[&]/ 会将 abc 替换为 [abc]）
4、地址
以下是 sed 中常用的地址（行选择）表示方式及其说明的表格：
地址格式 描述
first~step 从第 first 行开始，每隔 step（步长） 行匹配一次（如 1~2 匹配第1、3、5…行）
$ 匹配最后一行
/regexp/ 匹配所有能被正则表达式 regexp 匹配到的行
number 仅匹配指定行号的行（如 5 只匹配第5行）
addr1,addr2 匹配从 addr1 行开始到 addr2 行结束的所有行（闭区间）
addr1,+N 从 addr1 行开始，向后包含 N 行（共 N+1 行，如 3,+2 匹配3、4、5行）
addr1,~N 从 addr1 行开始，匹配到第一个能被 N 整除的行结束（如 2,~3 匹配2到3行）

5、案例

案例一：
先定义一个原始数据的文本文件
[root@stw ~]# vim /tmp/services
[root@stw ~]# cat /tmp/services
nimgtw 		48003/udp 		# Nimbus Gateway
3gpp-cbsp 		48049/tcp 		# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 		# Image Systems Network Services
isnetserv 		48128/udp 		# Image Systems Network Services
blp5 			48129/tcp 		# Bloomberg locator
blp5 			48129/udp 		# Bloomberg locator
com-bardac-dw 	48556/tcp 		# com-bardac-dw
com-bardac-dw 	48556/udp 		# com-bardac-dw
iqobject 		48619/tcp 		# iqobject
iqobject 		48619/udp 		# iqobject
（1）打印匹配blp5开头的行
[root@stw ~]# cat /tmp/services | sed -n '/^blp5/p'
//-n：不打印模式空间，p：打印当前的模式空间  /^blp5/：以blp5开头
blp5 			48129/tcp 		# Bloomberg locator
blp5 			48129/udp 		# Bloomberg locator
（2）打印第一行
[root@stw ~]# cat /tmp/services | sed -n '1p'
nimgtw 		48003/udp 		# Nimbus Gateway
（3）打印第一行至第三行
[root@stw ~]# cat /tmp/services | sed -n '1,3p'
nimgtw 		48003/udp 		# Nimbus Gateway
3gpp-cbsp 		48049/tcp 		# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 		# Image Systems Network Services

[root@stw ~]# cat /tmp/services | sed -n '1,~3p'
nimgtw 		48003/udp 		# Nimbus Gateway
3gpp-cbsp 		48049/tcp 		# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 		# Image Systems Network Services
（4）打印奇数行
[root@stw ~]# cat /tmp/services | sed -n '1~2p'   //从第一行开始，每隔两行输出
nimgtw 		48003/udp 		# Nimbus Gateway
isnetserv 		48128/tcp 		# Image Systems Network Services
blp5 			48129/tcp 		# Bloomberg locator
com-bardac-dw 	48556/tcp 		# com-bardac-dw
iqobject 		48619/tcp 		# iqobject
[root@stw ~]# seq 10 | sed -n '1~2p'
1
3
5
7
9
（5）打印偶数行
[root@stw ~]# cat /tmp/services | sed -n '2~2p'
3gpp-cbsp 		48049/tcp 		# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/udp 		# Image Systems Network Services
blp5 			48129/udp 		# Bloomberg locator
com-bardac-dw 	48556/udp 		# com-bardac-dw
iqobject 		48619/udp 		# iqobject
[root@stw ~]# seq 10 | sed -n '2~2p'
2
4
6
8
10
（6）打印匹配行及后一行
[root@stw ~]# cat /tmp/services | sed -n '/blp5/,+1p'
blp5 			48129/tcp 		# Bloomberg locator
blp5 			48129/udp 		# Bloomberg locator
（7）打印最后一行
[root@stw ~]# cat /tmp/services | sed -n '$p'
iqobject 		48619/udp 		# iqobject
（8）不打印最后一行
[root@stw ~]# cat /tmp/services | sed -n '$!p'
nimgtw 		48003/udp 		# Nimbus Gateway
3gpp-cbsp 		48049/tcp 		# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 		# Image Systems Network Services
isnetserv 		48128/udp 		# Image Systems Network Services
blp5 			48129/tcp 		# Bloomberg locator
blp5 			48129/udp 		# Bloomberg locator
com-bardac-dw 	48556/tcp 		# com-bardac-dw
com-bardac-dw 	48556/udp 		# com-bardac-dw
iqobject 		48619/tcp 		# iqobject
[root@stw ~]# cat /tmp/services | sed -n '!$p'
sed: -e expression #1, char 2: unknown command: `$'
//!要写在$的后面，p的前面
（9）匹配范围（打印以/blp5/开头，/com/结束的行）
[root@stw ~]# cat /tmp/services | sed -n '/^blp5/,/^com/p'
blp5 			48129/tcp 		# Bloomberg locator
blp5 			48129/udp 		# Bloomberg locator
com-bardac-dw 	48556/tcp 		# com-bardac-dw
匹配blp5所在行到最后一行
[root@stw ~]# cat /tmp/services | sed -n '/blp5/,$p'
blp5 			48129/tcp 		# Bloomberg locator
blp5 			48129/udp 		# Bloomberg locator
com-bardac-dw 	48556/tcp 		# com-bardac-dw
com-bardac-dw 	48556/udp 		# com-bardac-dw
iqobject 		48619/tcp 		# iqobject
iqobject 		48619/udp 		# iqobject
（10）引用系统变量，用引号
[root@stw ~]# cat /tmp/services | sed -n ''$a',3p'  //调用变量$a
sed: -e expression #1, char 1: unknown command: `,'
[root@stw ~]# export a=2    //手动定义变量a为2
[root@stw ~]# cat /tmp/services | sed -n ''$a',3p'  //打印第二行到第三行
3gpp-cbsp 		48049/tcp 		# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 		# Image Systems Network Services
[root@stw ~]# export a=2
[root@stw ~]# cat /tmp/services |sed -n "$a,3p"
3gpp-cbsp 		48049/tcp 		# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 		# Image Systems Network Services
案例二：删除匹配
（1）删除带有/blp5/的行
[root@stw ~]# cat /tmp/services | sed '/blp5/d'
nimgtw 		48003/udp 		# Nimbus Gateway
3gpp-cbsp 		48049/tcp 		# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 		# Image Systems Network Services
isnetserv 		48128/udp 		# Image Systems Network Services
com-bardac-dw 	48556/tcp 		# com-bardac-dw
com-bardac-dw 	48556/udp 		# com-bardac-dw
iqobject 		48619/tcp 		# iqobject
iqobject 		48619/udp 		# iqobject
（2）删除第一行
[root@stw ~]# cat /tmp/services | sed '1d'
3gpp-cbsp 		48049/tcp 		# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/tcp 		# Image Systems Network Services
isnetserv 		48128/udp 		# Image Systems Network Services
blp5 			48129/tcp 		# Bloomberg locator
blp5 			48129/udp 		# Bloomberg locator
com-bardac-dw 	48556/tcp 		# com-bardac-dw
com-bardac-dw 	48556/udp 		# com-bardac-dw
iqobject 		48619/tcp 		# iqobject
iqobject 		48619/udp 		# iqobject
（3）删除奇数行
[root@stw ~]# cat /tmp/services | sed '1~2d'
3gpp-cbsp 		48049/tcp 		# 3GPP Cell Broadcast Service Protocol
isnetserv 		48128/udp 		# Image Systems Network Services
blp5 			48129/udp 		# Bloomberg locator
com-bardac-dw 	48556/udp 		# com-bardac-dw
iqobject 		48619/udp 		# iqobject
[root@stw ~]# seq 10 | sed '1~2d'
2
4
6
8
10
（4）删除一到三行
[root@stw ~]# cat /tmp/services | sed '1,3d'
isnetserv 		48128/udp 		# Image Systems Network Services
blp5 			48129/tcp 		# Bloomberg locator
blp5 			48129/udp 		# Bloomberg locator
com-bardac-dw 	48556/tcp 		# com-bardac-dw
com-bardac-dw 	48556/udp 		# com-bardac-dw
iqobject 		48619/tcp 		# iqobject
iqobject 		48619/udp 		# iqobject
打印时把匹配的打印出来，删除时把匹配的删除，删除只是不用-n选项
练习：去除空格/etc/httpd/conf/httpd.conf文件的空行或开头#号的行
（前提有这个文件）
[root@stw ~]# sed '/^#/d;/^$/d' /etc/httpd/conf/httpd.conf | sed -r '/[[:space:]]+#/d'
ServerRoot "/etc/httpd"
Listen 80
Include conf.modules.d/*.conf
User apache
最低0.47元/天 解锁文章
Linux进阶--文本处理grep、sed、awk命令
Rita_rr的博客
04-17 1478
grep：一种强大的文本搜索工具，它能使用正则表达式匹配模式搜 索文本，并把匹配的行打印出来格式 sed：流编辑器，一般用来对文本进行增删改查 awk：也称 gawk，编程语言，可对文本和数据进行处理
Linux文本处理三剑客grep,sed,awk
weixin_73388622的博客
01-11 1460
linux文本处理三剑客grep,sed,awk
Linux文本三剑客(grep、sed、awk)
m0_63069714的博客
03-20 3533
Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来(匹配到的标红)。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。grep的工作方式是这样的，它在一个或多个文件中搜索字符串模板。如果模板包括空格，则必须被引用，模板后的所有字符串被看作文件名。搜索的结果被送到标准输出，不影响源原文件内容。
grep和sed
qq_43191116的博客
12-06 657
1、通配符 常用的通配符有 通配符 含义 示例 正则表达式 正则表达式由一类特殊字符及文本字符所编写的模式，其中有些字符不表示其字面意义，而是用于表示控制或通配的功能； 正则表达式分两类：基本正则表达式 ：BRE 扩展正则表达式 ：ERE 基本正则表达式 扩展正则表达式 grep文本处理器 详情参考本人有道云笔记 文档：grep文本过滤器.note 链接：http://note.youd...
linux中sed配合 grep,grep与cat、sed的结合
weixin_33520952的博客
05-25 4948
grep查找命令grep命令是linux系统中，最常用的文件字符串查找命令，职业生涯中，我们几乎离不开它。下面是它最简单的用法，不过实际情况下，我们通常会添加很多参数或结合其他的命令去进行使用。1grep "" 常用命令参数：1234567891011121314: 文件名称，多个文件使用空格隔开: 匹配字符-n : 显示行号-i : 忽略字符大小写-l : 列出符合条件的文件名-r : 查找所有...
Linux命令学习——grep、sed、awk
weixin_45531218的博客
05-13 4044
使用正则表达式，如/^s/表示匹配以s开头的行，下面的语句$0~/^s/表示第一个字段以s开头，!打印文件的 第三个列，-F ':' 表示以冒号作为分隔符，如果不指定-F选项，则默认以空格分隔。sed -e '命令1' -e '命令2' -e '命令3' 文件名列表。输入文件的每行作为一个“记录”，变量NR就是行号，变量NF是每行的域的数量。printf("格式串"，变量1，变量2，……内置变量$1是第一域内容，依次，$2是第二域内容。打印出包含var的行的内容，/var/表示要找到包含var的行。
Linux文本处理三剑客：awk、sed、grep
金灰的博客
01-25 1167
3└─# cat a3RS 输入分隔符，直接不是一行一行处理了，例子：2段数据拼接计算，多少个单词6 24 114for循环，循环每一行的每一个字段。i<=NF;24i<=NF;6└─# df -h└─# df -hiUse%0%1%33%0%0%1%0%33%0%33%013300135123456123456数组，函数......
【Linux 文本处理三剑客：grep、sed、awk 深度解析与实战指南】
rong_ha_ha的博客
05-12 2043
本文聚焦 Linux 系统中极具影响力的文本处理工具 grep、sed、awk。详细阐述了 grep 的常用选项与搜索模式，助你精准查找文本；深度解析 sed 作为流编辑器，在文本增删改查及正则处理等方面的强大功能；全面介绍 awk 的模式与操作、内置变量、字段分隔及丰富用法。同时，通过大量实用案例，生动展示各工具的特性，为读者在 Linux 环境下高效处理文本提供清晰且实用的指引 ，无论是日常文件处理还是复杂的文本分析任务，都能从中找到得力的解决方法。
【Linux】文本处理三剑客：grep、sed 和 awk
double222222的博客
12-09 1367
在 Linux 和类 Unix 系统中，
Linux三剑客（grep、sed、awk）
刘某的博客
12-19 2144
常见参数：-i: 忽略大小写。-v: 反向匹配，输出不包含模式的行。-n: 在每一行前面加上行号。-r or -R: 递归方式在所有文件中搜索。-E: 使用扩展正则表达式。-P: 使用 Perl 兼容的正则表达式。-o: 仅输出匹配模式的部分。-l: 仅输出包含匹配行的文件名。-e: 指定多个搜索模式。-A数字 #列出符合条件的行，并连续列出后续n行（如果小写，列出前后n行）。-B数字 #列出符合条件的行，并连续列出前面n行（如果小写，列出前后n行）。
sed与grep
bimie1383的博客
08-17 595
sed与grep 文本处理工具是用来查看、分析、统计文本的工具其中最有名有三个，这次先介绍两个sed与grep。这两个有一个共同点那便是都是支持正则表达式与扩展正则表达式。 能够抽取文本的工具有很多 内容抽取：cat、more、less 文件截取：head、tail 按列抽取：cut 排序和统计：sort、wc 按关键字抽取：grep 按行处理：sed 1.sed sed是一...
Linux三剑客awk、grep、sed详解
LongtengGensSupreme博客
08-05 7361
一、前言 linux 有很多工具可以做文本处理，例如：sort, cut, split, join, paste, comm, uniq, column, rev, tac, tr, nl, pr, head, tail.....，学习 linux 文本处理的懒惰方式（不是最好的方法）可能是：只学习grep，sed和awk。 使用这三个工具，你可以解决近 99％ linux 系统的文本处理问题，而不需要记住上面不同的命令和参数。:) 而且，如果你已经学会并使用了三者，你就会知道其中的差异。实际上，这里的
Linux三剑客：grep、sed、awk 详解以及find区别
最新发布
m0_75180351的博客
07-04 1331
grep、sed、awk是Linux/Unix系统中经典的文本处理工具，合称“三剑客”。
【shell】速通shell脚本三大常用命令grep、sed和awk
GB100200的博客
02-24 1499
grep命令用于搜索文本文件中符合条件的字符串（或正则表达式）并输出相关行的命令，表示全局正则表达式打印，广泛用于查找文件中包含特定模式的行。
操作系统三剑客命令-grep、sed、awk
sjsjshhs134654的博客
12-12 1064
awk基本原理是逐行处理文件中的数据，查找与命令行中所给定内容想匹配的模式，如果发现匹配内容，则进行下一个编程步骤，如果找不到匹配内容继续处理下一行。sed在处理时一次只读取文件的一行并对这一行进行处理，并且sed将处理后的数据只会显示在屏幕上，并不会对原文件进行修改，所以说sed是一个行编辑器。egrep "a{2}" 查询数据中a连续出现两次的行，2个a以上的行也会 显示，比如一行有aaa，aaaa都会显示出来。s/\n/ /' //末尾处有一个空格，表示行号后也有空格。
Linux文本三剑客“grep，sed，awk”总结
qq_59180100的博客
07-18 1871
grep是一个强大的文本搜索工具，它可以通过指定的模式在文件或输出流中搜索匹配的行。其中，`options`是可选的选项，用来修改`grep`的行为。`pattern`是要搜索的字符串或正则表达式。`files`是要搜索的文件名，可以同时搜索多个文件。如果省略`files`参数，则默认从标准输入中读取数据。匹配的行将被显示。如果有多个匹配行，它们都将被显示。您可以使用选项来修改`grep`的行为。例如，使用`-i`选项可以忽略大小写进行匹配。
正则表达式及文本处理三剑客（grep、sed、awk）
十七拾的博客
01-31 2320
本文详细阐释了正则表达式和文本处理三剑客（grep、sed、awk）的具体用法，还有一些相关案例可供参考，希望对你有帮助
linux三剑客(awk,grep,sed)
qq_45670459的博客
11-14 2768
简单介绍awk,grep,sed命令，并举了部分示例
正则表达式三剑客之——grep和sed
qq_54324852的博客
04-26 1402
grep 是一个命令行工具，用于在文本文件中搜索指定的模式（通常是字符串或正则表达式），并输出匹配的行。sed 是一个非交互式的流编辑器，它从输入流（如文件或管道）中逐行读取文本，根据用户指定的命令对文本进行处理，然后将结果输出到标准输出（默认是终端）。sed 不会直接修改原始文件，除非明确指定。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值