shell工具之awk

最新推荐文章于 2024-11-23 17:34:01 发布
原创 最新推荐文章于 2024-11-23 17:34:01 发布 · 469 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
shell

当前文章被收录于：

shell
12 篇文章 2 人学习
订阅专栏 查看详情
本文介绍了shell工具awk的基本用法，包括如何指定分隔符、赋值用户定义变量以及使用模式和行动。通过实例展示了awk如何从/etc/passwd文件中提取特定列，并解释了BEGIN和END模式的作用。同时，提到了awk的内置变量如FILENAME、NR和NF，以及如何统计文件中的IP地址和处理空行。

shell工具之awk

​ 一个强大的文本分析工具，把文件逐行的读入，以空格为默认的分割符并将每行切片，切开的部分在进行分析处理。

1.基本用法

awk [选项参数] ‘pattern1 {action} pattern2 {action}…’ filename

pattern :表示AWK在数据中查找的内容，就是匹配模式

action：在找到匹配内容时所执行的一系列命令。

  • 参数说明

    -F 指定输入文件拆分隔离

    -v 赋值一个用户定义变量

  • 范例：数据准备(/etc/passwd文件)

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VI8hws2e-1583058855563)(C:\Users\016322605\Desktop\csdn\shell\捕获70.PNG)]

    • 搜索passwd文件以root关键字开头的所有行，并输出该行的第7列。

    awk -F : '/^root/{print $7}' passwd[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gJLDkc2s-1583058855563)(C:\Users\016322605\Desktop\csdn\shell\捕获71.PNG)]

    • 搜索passwd文件以root关键字开头的所有行，并输出该行的第一列和第七列，中间以“，”号分割。

      awk -F : '/^root/ {print $1","$7} passwd'[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-irvnHtou-1583058855564)(C:\Users\016322605\Desktop\csdn\shell\捕获72.PNG)]

    • 只显示/etc/passwd的第一列和第七列，以逗号分割，且在所有行前面添加列名user，shell 在最后一行添加“zby, /bin/zuihsuai”。

      awk -F: 'BEGIN{print "user shell"} {print $1","$7} END{print "zby,/bin/zuishuai"}' passwd[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8LMwm8yZ-1583058855564)(C:\Users\016322605\Desktop\csdn\shell\捕获73.PNG)]

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CrCKa5KB-1583058855565)(C:\Users\016322605\Desktop\csdn\shell\捕获74.PNG)]

      注意：BEGIN在所有数据读取行之前执行

      ​ END 在所有数据执行之后执行

    • 将passwd文件中的用户id增加数值1并输出

      awk -F : '{print $3}' passwd[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nPY9cSxQ-1583058855566)(C:\Users\016322605\Desktop\csdn\shell\捕获75.PNG)]

      awk -F : -v i=1 '{print $3+i}' passwd[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z2Y5yFUI-1583058855567)(C:\Users\016322605\Desktop\csdn\shell\捕获76.PNG)]

      2.awk的内置变量

      ​ FILENAME 文件名

      ​ NR 已读的记录数

      ​ NF 浏览记录的域的个数（切割后，列的个数）

    • 范例:统计passwd文件名，每行的行号，每行的列数。

      awk -F :'{print FILENAME","NR","NF}' passwd[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tqiWjDSW-1583058855569)(C:\Users\016322605\Desktop\csdn\shell\捕获77.PNG)]

      • 切割IP

      ifconfig eth0 |grep "inet addr" |awk -F : '{print $2}' |awk -F " " '{print $1}'[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-l3qSOmWg-1583058855573)(C:\Users\016322605\Desktop\csdn\shell\捕获78.PNG)]

      • 查询sed.sh中空行所在的行号

        [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vPNOrgkz-1583058855574)(C:\Users\016322605\Desktop\csdn\shell\捕获80.PNG)]

awk '/^$/{print NR} sed.sh'

在这里插入图片描述

标签
#linux #shell
shell sort 最后一列排序_Linux中Shell的sort排序命令的简单使用
weixin_40002846的博客
11-22 2640
Linux Shell sort排序命令sort将文件的每一行作为一个单位相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。语法：sort [OPTION]... [FILE]...常用参数：-k：指定那一列为排序键-u：在输出行中去除重复行。-b：忽略每行前面开始出的空格字符。-c：检查文件是否已经按照顺序排序。-f：排序时，将小写字母视为大写字母。-i：排序...
排序算法
weixin_33800463的博客
12-07 165
1.冒泡排序（Bubble Sort） 冒泡排序是一种简单的排序算法。它重复地遍历过要排序的数列，每次比较两个元素，如果它们的顺序不符合预期，就把它们的位置交换过来。遍历数列的工作是重复地进行直到没有再需要交换。因为每遍历数列一次，就有一个元素“浮”到数列的顶端，故此叫做“冒泡排序”。简要步骤比较相邻的元素。如果第一个比第二个大，就交换它们两个；对每一对相邻元素作同样的工作，从开始第一对到结尾的最...
shell sort 最后一列排序_Shell 编程 排序工具 sort 和 uniq
weixin_39943442的博客
11-20 514
本篇主要写一些shell脚本排序工具的使用。sort概述sort是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。用法sort [选项] 参数-f：忽略大小写-b：忽略每行前面的空格-M：按照月份进行排序-n：按照数字进行排序-r：反向排序-u：等同于uniq，表示相同的数据仅显示一行-t：指定分隔符，默认使用Tab键分隔-o ：将排序后的结果转存至指定文件-k：指定排序区...
linux: sort用法
Just Code
09-27 417
sort命令是帮我们依据不同的数据类型进行排序，其语法及常用参数格式：　　sort [-bcfMnrtk][源文件][-o 输出文件] 补充说明：sort可针对文本文件的内容，以行为单位来排序。   参　　数：  -b   忽略每行前面开始出的空格字符。  -c   检查文件是否已经按照顺序排序。  -f   排序时，忽略大小写字母。  -M   将前面3个字母依照月份的缩写进行排序。...
shell 截取最后一列
dodomail的专栏
07-11 6300
cat yyb.txt | awk -F_ '{print pring substr($0,1,length-length($NF))}' echo '1,TENCENT_oaoHX0_f9cansGa2b0RXASLj9HwE_1'|awk -F ',' '{print substr($2,1,match($2,/_[0-9]+$/)-1)}'
Shell工具（cut，sed，awk，sort）的使用
最新发布
m0_63026992的博客
11-23 1923
Shell工具（cut，sed，awk，sort）
Shell编程之Sed与Awk 工具
XuMin6的博客
12-12 545
Shell编程之Sed与Awk ​ Sed（Stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。sed 也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于 Shell 脚本中，用以完成各种自动化处理任务 。 一：sed 的工作流程主要包括读取...
shell脚本之awk工具详解
huhaiyangFIVE的博客
11-18 677
目录一、awk简介二、awk常见用法2.1、awk的内建变量2.2、按行输出文本2.3、按字段输出文本2.4、通过管道、双引号调用 Shell 命令三、getline命令 一、awk简介 在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理 可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务 二、awk常见用法 通常情况下 awk 所使用的命令格式为
Shell编程（六）awk工具
豆子
02-12 272
Shell编程（六）awk工具 1. {print} coins.txt gold 1 1986 USA American Eagle gold 1 1968 Austria Franz Josef 100 Korona silver 10 1964 ...
Shell——awk、sort、uniq工具命令详解
ML908的博客
12-06 2074
文章目录awk工具awk 包含几个特殊的内建变量（可直接用）如下所示：1、按行输出文本2、按字段输出文本3、通过管道、双引号调用Shell命令sort工具 （排序）uniq工具 （去重） awk工具 awk 所使用的命令格式，单引号加上大括号“{}”用于设置对数据进行的处理动作。awk 可以直接处理目标文件，也可以通过“-f”读取脚本对目标文件进行处理。 awk 选项 ‘模式或条件 {...
17_Shell好用工具：awk
Holenxr的博客
07-17 963
使用 ":" 分隔字符串，并打印1-6列#手动拼接分割后的字符串 列数较少推荐#循环凭借分割后的字符串 列数较多推荐n<=NF;
shell 编程之sed工具以及awk工具的用法示例 结合实例理解简单
wulimingde的博客
08-25 4746
sed编辑器与awk用法一、sed工具1、sed工具的介绍2、使用sed的注意事项3、sed 命令常见用法4、常见的 sed 命令 选项5、常见的 sed 命令 操作 一、sed工具 1、sed工具的介绍 sed（Stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。sed 也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于 Shell 脚本中，用以完成各种自动化处理任务
Shell编程—【08】Linux的awk文本处理工具 awk命令
qq_26769049的博客
04-12 418
介绍 awk是一个文本处理工具，通常用于处理处理数据并生成结果报告 awk的命名是它的创始人 Affred Aho、Peter Weinberger 和Brian Kernighan 姓氏的首个字母组成的 语法格式 第一种形式：awk ‘BEGIN{}pattern{commands}END{}’ file_name 第二种形式：standard output | awk ‘BEGIN{}pattern{commands}END{}’ 语法格式说明 语法格式 解释 BEGIN{} 正
shell工具（cut、awk、sort)
weixin_44912627的博客
09-01 358
一、cut 顾名思义，cut——>‘剪’，在文件中负责剪切数据用的。那么具体做的便是从文件的每一行数据中剪切字节，字符和字段并且将这些字节和字符，字段输出。 cut [选项参数] filename ：默认分隔符是制表符。 选项参数： -f ：列号，提取第几列 -d：分隔符，按照指定分隔符分割列 cut.txt eg： cut -d " " -f 1 cut.txt (按照空格切割cut文件，且返回第一列的数据) eg： cat cut.txt | grep “wo” | cut
shell脚本之awk工具的使用
lvjianzhaoa的博客
05-27 111
在Linux系统中，awk是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被我们运维人员广泛应用于shell脚本，完成各中自动化配置任务。 awk可以直接处理目标文件，也可以和sed命令一样通过“ -f ”选项读取脚本对目标文件进行处理。 awk的语法格式如下： sed命令常用于整行...
Shell 基础（变量设置，awk工具）
isea_you's blog
02-19 2720
目录 概述 变量 常用 （vim + awk） 概述 Shell从诞生之初，就和普通的PC用户无缘了，工程师应该会喜欢Shell，maybe是这个样子的。 shell 提供了你和操作系统Linux之间的通讯方式。 shell的工作方式有两种 REPL 写成脚本（命令集合），然后在执行 你在终端写出的shell命令，计算机是无法直接理解的，需要shell解释器来完成...
shell中的文本处理工具（grep，sed，awk）
S_K15的博客
11-22 3943
shell中的文本处理工具一、grep1、grep的格式2、grep字符数量匹配规则3、示例二、sed1、sed的格式2、对字符的处理3、字符替换4、示例三、awk1、awk的格式2、示例 一、grep 文本搜索工具，可以使用正则表达式搜索文本，把匹配的行打印出来 grep支持正则表达式 egrep支持扩展的正则表达式 grep -E= egrep 1、grep的格式 grep 匹配条件 处理文件 -i 忽略大小写 -E “\<root" root字符之前不能有字符
Shell工具 cut sed awk sort
qq_43688472的博客
06-12 310
Shell工具（重点） cut cut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。 1.基本用法 cut [选项参数] filename 说明：默认分隔符是制表符 2.选项参数说明 -f 列号，提取第几列 -d 分隔符，按照指定分隔符分割列 -c 指定具体的字符 3.案例实操 （0）数据准备 [atguigu@hadoop101 datas]$ touch cut.txt [atguigu@hadoop101 data
shell工具篇之awk
qq_29503203的博客
06-26 1233
1.了解awk必须要知道的三点： awk是文本处理工具，不仅能以行为单位处理文件还能以列为单位处理文件；awk默认行分隔符为'\n' ,列分隔符默认为空格或tab;awk还是一门很复杂的脚本语言，具有类C一样的分支和循环结构。 2.awk命令格式
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值