用linux命令分析文件-排序-统计（sort, uniq, awk）

最新推荐文章于 2025-05-23 14:24:51 发布
原创 最新推荐文章于 2025-05-23 14:24:51 发布 · 1.1k 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
Python/Rust

当前文章被收录于：

Python/Rust
19 篇文章 0 人学习
订阅专栏 查看详情
本文展示了如何使用Linux命令行工具批量处理书籍列表文件，通过cat、sort、uniq和awk等命令组合来找出重复出现的ISBN号码，并将结果保存到新的文件中。
[root@bogon 桌面]# cat booklist.txt
9787302115199
9787302142201
9787302115199
9787115242907
9787115253293
9787302115199
9787302142201
9787115253293
[root@bogon 桌面]# sort booklist.txt | uniq -c | awk '$1>=2 {print $0}'
      2 9787115253293
      3 9787302115199
      2 9787302142201
[root@bogon 桌面]# sort booklist.txt | uniq -c | awk '$1>=2 {print $0}' >booklist-multi.txt




<script>window._bd_share_config={"common":{"bdsnskey":{},"bdtext":"","bdmini":"2","bdminilist":false,"bdpic":"","bdstyle":"0","bdsize":"16"},"share":{}};with(document)0[(getelementsbytagname('head')[0]||body).appendchild(createelement('script')).src='http://bdimg.share.baidu.com/static/api/js/share.js?v=89860593.js?cdnversion='+~(-new date()/36e5)];</script>
阅读(745) | 评论(0) | 转发(4) |
0

上一篇：帮忙哈

下一篇：17部委:庆六一增强儿童爱党爱国爱社会主义情感

相关热门文章
给主人留下些什么吧！~~
评论热议
shell脚本awk按照某列排序输出
01-09
带排序文件mscto.txt 的内容为： ————————————- 81 38|24 64 18|43 33 46|54 72 33|38 43 108|64 需要按照第二列大小排序命令： for i in `awk -F ‘[ |]’ ‘{print NR,$2}’ mscto.txt|sort -rn -k2|awk ‘{print $1}’`; do awk ‘NR==’$i’ {print}’ mscto.txt; done ———————————— 43 108|64 33 46|54 81 38|24 72 33|38 64 18|43
awk 数组排序多种实现方法
weixin_30580341的博客
10-09 481
由于awk数组，是关联数组。for…in循环输出时候，默认打印出来是无序数组。 [chengmo@localhost ~]$ awk 'BEGIN{info = "this is a test";split(info,tA," ");for(k in tA){print k,tA[k];}}'4 test1 this2 is3 a 如果需要按照顺序输出，通过键值定位方式输出...
linux awk 排序,shell三剑客之awk(包括sort排序和uniq工具)
weixin_39616674的博客
05-14 4042
shell三剑客之awk在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务。awk 所使用的命令格式如下所示，其中，单引号加上大括号“{}”用于设置对数据进行的处理动作。awk 可以直接处理目...
3、awk 数组的高级操作和技巧
qq_41046492的博客
10-24 1690
这一章主要讲一下awk 数组的操作和一些小技巧，awk的伪多维数组的创建，数组元素的删除，数组的排序，关联数组的应用。
使用Awk命令行或脚本在Linux中对文本文件进行排序
InjeProgram的博客
10-03 426
Awk是一种功能强大的文本处理工具，除了排序，它还可以用于处理和转换文本数据的各种任务。排序是对文本文件中的数据按照指定的规则进行重新排列的常见操作。在Linux系统中，可以使用Awk命令行工具或编写Awk脚本来对文本文件进行排序。除了使用Awk命令行外，我们还可以编写Awk脚本来实现更复杂的排序操作。要使用Awk命令行对文本文件进行排序，可以使用Awk的内置函数。以下是使用Awk命令行和脚本进行文本文件排序的示例。函数可以对数组进行排序，并返回排序后的结果。函数对数组进行排序，并最后打印排序后的结果。
awk对数据排序实例
xibeichengf的专栏
05-02 6993
在平时工作学习中，对数据进行排序是很常见的一个工作。今天就就说一下如何使用awk命令来对数据进行排序。比如，我想找到一组数据中的最大值，可以用如下的方法。 方法1： 使用awk命令并借助sort命令来实现 以下为生成随机数的一个小函数： #!/bin/bash # generate_random.sh for((i=0;i<10;i++)) do echo $RANDOM don
Linux awk+uniq+sort 统计文件中某字符串出现次数并排序
qq_34693104的博客
08-20 1111
在服务器开发中，我们经常会写入大量的日志文件。有时候我们需要对这些日志文件进行统计。Linux中我们可以利用以下命令简单高效的实现这一功能。 需要用到的命令简介 cat命令 cat命令主要有三大功能 1.一次显示整个文件 cat filename 2.创建一个文件 cat > fileName 3.将几个文件合并为一个文件 cat file1 file2 > file 参数： -n 或...
day07--sort-uniq-awk
a2354716112的博客
05-07 667
sortuniqawk目标:分析access.log和secure日志。
Linux命令: awk/uniq/sort
_Tsun 的博客
11-04 463
awk 强大的文本分析工具 # https://www.runoob.com/linux/linux-comm-awk.html # 每行按空格或TAB分割，输出文本中的1、4项 $ awk '{print $1,$4}' log.txt uniq # https://www.runoob.com/linux/linux-comm-uniq.html # 去重,删除重复行， -c 计算重复行 个...
管道相关命令（cut sort wc uniq tee tr split awk sed grep)
热门推荐
weixin_48143996的博客
09-29 4万+
管道相关命令 cut sort wc uniq tee tr split awk sed grep 文章目录管道相关命令2 sort2.1去重排序2.2 对数值排序3 wc命令3.1显示指定文件 字节数, 单词数, 行数 信息.3.2显示 文件 的行数4 uniq4.1去重4.2统计出现的次数5 tee6 tr6.1替换![在这里插入图片描述](https://img-blog.csdnimg.cn/20200929154008634.png#pic_center)6.2 删除7 sp
Linux 访问日志统计某个字段并排序功能
yangzhenzhen的专栏
01-28 4575
cat t.log|grep 过滤条件|awk -F "分隔符" '{print $1}'| sort | uniq -c | sort -k 1 -n -r $1表示通过分隔符隔开之后你要统计的字段所在位置   经过uniq -c 处理之后的数据格式形如"2 data"，第一个字段是数字，表示重复的记录数；第二个字段为记录的内容。我们将对此内容进行排序。sort -k 1表示对于每行的第
linux uniq按照一列去重,linux uniq命令用法
weixin_39711441的博客
05-25 1352
uniq命令：對指定的ASCII文件或標准輸入進行唯一性檢查，以判斷文本文件中重復出現的行，常用於分析日志；查看tcp各個狀態連接數，ip或域名連接數排名等等場景，一般與 sort 命令結合使用。命令格式：uniq [選項]... [文件1] [文件2]uniq從已經排好序的文本文件file1中刪除重復的行，輸出到標准輸出或file2，常作為過濾器，配合管道試壓。在使用uniq命令前，必須確保操作...
awk,sed,grep,cut,uniq,sort,tr,wc,head,tail的常见用法
cqslpxzzp的专栏
03-03 4458
awk awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。   调用awk的三种方式 1.命令行方式 awk [-F field-separator]  'commands' input-file(s) 其中，command
linux + sort+uniq+awk
qq_15730669的博客
05-24 288
https://www.waitig.com/linux-awkuniqsort-%E7%BB%9F%E8%AE%A1%E6%96%87%E4%BB%B6%E4%B8%AD%E6%9F%90%E5%AD%97%E7%AC%A6%E4%B8%B2%E5%87%BA%E7%8E%B0%E6%AC%A1%E6%95%B0%E5%B9%B6%E6%8E%92%E5%BA%8F.html
linux正则匹配多个空行,Shell脚本正则表达式之——awk、sort、uniq，内含多个小Demo...
weixin_36438511的博客
05-13 1194
awk工具在Linux/UNIX系统中，awk是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以再无交互的情况下实现相当复杂的文本操作，被广泛应用于Shell脚本，完成各种自动化配置任务。1.awk常见用法：通常情况下 awk 所使用的命令格式如下所示，其中，单引号加上大括号“{}”用于设置对数据进行的处理动作。awk 可以直...
Linux 命令 sed,sort,uniq,wc,find,grep,cut,awk
Rpk712的博客
04-07 1658
Linux 命令 sed,sort,uniq,wc,find,grep,cut,awk
linux.命令日志,Linux日志统计命令
weixin_39603357的博客
04-28 296
常用的Linux命令用来统计服务器日志中的某些信息。Shell$cat ****.txt | awk '{print $1}' | sort | uniq -c | wc -l$cat ****.txt | awk '{print $1}' | sort | uniq -c | sort -k 1 -n -r | wc -l12$cat****.txt|awk'{print $1}'|...
Linux 操作文本文件列数据的常用命令
最新发布
weixin_42849849的博客
05-23 585
这些命令可以单独使用，也可以通过管道组合使用，形成强大的文本处理流水线。工具集(需安装) - 专门处理CSV文件。- 字符转换(常用于列数据)- 强大的文本处理工具。- 基于共同列合并文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值