使用awk ＋ sort做数据统计

[root@bogon 桌面]# cat booklist.txt 9787302115199 9787302142201 9787302115199 9787115242907 9787115253293 9787302115199 9787302142201 9787115253293 [root@bogon 桌面]# sort booklist.txt | uniq -c

转载《利用Linux命令行进行文本按行去重并按重复次数排序》 转载《awk使用案例：通过awk去除重复行》 awk命令去重，sort, uniq命令去重统计 利用Linux命令行进行文本按行去重并按重复次数排序 linux命令行提供了非常强大的文本处理功能，组合利用linux命令能实现好多强大的功能。本文这里举例说明如何利用Linux命令行进行文本按行去重并按重复次数排序。主要用到的命令有

  “排序”在任何一门语言中都是最基础的功能，常见的排序对象有“文件”和“数组”，排序模式可以按照单列排序，也可以多列组合排序，排序方式有顺序、倒序，排序的算法就更多了，常见的有字典顺序、数组大小比较等。下文将从“排序对象”、“排序模式”、“排序方式”、“排序的算法”5个方面，逐一来分析shell是如何实现的。 一.使用sort分别对文件和数组进行排序 1.使用sort [文件名]就可以对文件以行...

一、AWK 1.简介 AWK是一个优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。这种编程及数据操作语言（其名称得自于它的创始人阿尔佛雷德·艾侯、彼得·温伯格和布莱恩·柯林汉姓氏的首个字母）的最大功能取决于一个人所拥有的知识，很多事情往往都是这样。 我们可以在linux环境中使用它来进行快速的、任意规模的数据统计分析。大到几十G、小到随手统计文件信息均可。 2.使用 示例数据：log.txt 1,aa a,ccc,aw qr 2,ss ss,d dd,e e e

主要介绍通过cat awk grep sort uniq wc等等指令组合使用来完成统计工作

场景老板交代一个任务，处理一批数据，从文本找出攻击次数top 10的ip。你看了下，这个文本大小有980M，有831136条数据。 目前在我脑海里面，方式大致有三种，一是用excel，不懂计算机的人一般会想到这种方法，但是这么大的文件用excel打开，估计会卡死；二是导入数据库后用sql语句；三是使用linux命令，本篇文章将采用这种方式。文本的大小和行数一条命令搞定通过命令查看文本每行的数据格式...

得到取出数据的最大值：cat manager.txt |grep monitor|awk '{print$9}'|sort -rn|head -1得到取出数据的最小值：cat manager.txt|grep monitor |awk '{print $9}'|sort -n|head -1得到取出数据的平均值：cat manager.txt|grep monitor |aw...

https://www.runoob.com/linux/linux-comm-awk.html https://www.cnblogs.com/wangbaihan/p/9262296.html https://blog.csdn.net/qq_28766327/article/details/78069989 最近两天一直有人在刷我负责的接口，说不气人是假的，一次一次的、上万次请求、最终...

1. cut [选项] 文件名 -f 列号　　#提取第几列（分隔符默认为\t） -d 分隔符　　#指定分隔符 例如：cut -f 2 a.txt　　#截取文件a.txt内容的第二列（列号从1开始） 　　　cut -f 2,4 a.txt　　#截取文件a.txt内容的第二列和第四列 　　　cut -d ":" -f 1,3 /etc/passwd　　#截取文件passwd...

source.txt内容： C2S|CTCC|node1|49.32.100.10 S2C|CTCC|node3|49.32.100.10 C2S|CTCC|node1|49.32.100.10 C2S|CTCC|node2|49.32.100.10 C2S|CTCC|node3|49.32.100.10 C2S|CTCC|node3|49.32.100.10 脚标从1开始 cat source.txt | awk -F '|' '{print $3}'| sort | uniq -c | ..

数据 [root@192 test]# cat ip.txt 192.168.0.1 zhangxc 192.168.0.1 zhangxc1 192.168.0.1 zhangxc3 192.168.0.2 zhangc 192.168.0.2 zhangc1 192.168.0.3 zhangc 192.168.0.3 zhangc 192.168.0.3 zhangxc

本文详细介绍了如何在Termux与Ubuntu移动端环境中，利用Bash脚本高效完成数据统计任务。文章重点解决了手机端文件传输、脚本编写与调试等核心痛点，并提供了完整的平均值计算脚本代码，帮助用户仅用一部安卓手机即可快速处理数据，实现移动办公场景下的即时数据分析。

日志统计 1.cat xxxx.log |awk '{print $1}'|sort|uniq -c|sort -nr|

cat oa-2011-08-02-access.log | grep :16:20: |awk '{++S[$4]} END {for(a in S) print a, S[a],$1}' | awk '{print $2,$1}'|sort -n|awk '{sum += $1};END {print sum} 转载于:https://blog.51cto.co...

cut -d "|" -f 1,3,4,5 pv_account_summary.csv | sort -t "|" -k 1 > helias.csv -f:

就linux三剑客简单归纳：1：awk习题1：用 awk 中查看服务器连接状态并汇总netstat-an|awk '/^tcp/{++s[$NF]}END{for(a in s)print a,s[a]}'ESTABLISHED1LISTEN20习题2：统计 web 日志访问流量，要求输出访问次数，请求页面或图片，每个请求的总大小， 总访问流量的大小汇总awk'{a[$7]+=$10;++b[$7...

[root@web01 ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数：-f ：忽略大小写的差异，例如 A 与 a 视为编码相同；-b ：忽略最前面的空格符部分；-M ：以月份的名字来排序，例如 JAN, DEC 等等的排序方法；-n ：使用『纯数字』进行排序(默认是以文字型态来排序的)；-r ：反向排序；-u ：就是 uniq ，相同的数据中，...

awk 强大的文本分析工具 # https://www.runoob.com/linux/linux-comm-awk.html # 每行按空格或TAB分割，输出文本中的1、4项 $ awk '{print $1,$4}' log.txt uniq # https://www.runoob.com/linux/linux-comm-uniq.html # 去重,删除重复行， -c 计算重复行 个...