海量数据统计总结...

最新推荐文章于 2025-11-27 22:15:00 发布
原创 最新推荐文章于 2025-11-27 22:15:00 发布 · 1.4k 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
面试....

当前文章被收录于：

面试....
31 篇文章 1 人学习
订阅专栏 查看详情
本文介绍了一种处理大规模数据集的有效方法，通过分而治之的策略，利用哈希映射和堆排序来统计和排序数据项的频率。具体案例包括基于query频度的排序及找出访问特定网站次数最多的IP地址。

1.有10个文件，每个文件1G，每个文件的每一行都存放的是用户的query，每个文件的query都可能重复。如何按照query的频度排序。

 

2.海量日志数据，提取出某日访问百度次数最多的那个IP。

 

 

对于这类问题， 通常要使用分而治之的思想， 因为内存中不能够存放的下所有的数据， 为了保证将海量数据分成几个小块后， 每个小块中的元素都互不相同， 也就是值相同的元素要被分到同一个数据块中， 可以使用hash的方法， hash(value) % n, n就是要分的块数， 这样在每个小块中在使用hash_map的方法统计每个value的频度， 再利用堆排序对每个小块的频度进行排序, 最后对所有的小块进行归并排序...

标签
#query #百度
概述-数据中台是什么
钱锋的数据仓库经验与思考
10-12 1103
数据中台是什么？ 自从老马提出数据中台的概念以来，有太多的人进行了不同角度的解读。看多了，我慢慢明白了，没有标准答案。 但大部分人说的时候有一点基本上是都认同的，就是大中台小前台。 核心就是专业的人，做专业的事，可以降低成本，提升效率，更深入的去解决更复杂、更有技术性的问题， 所以我觉得数据中台的本质还是分工。 将原本很长的数据生产链条，原本由一个人去做全部的事情，变成多个人做其中的一部分事情，然后每一个人是其他人的上游和下游相互协作。 分工协作的好处，大家都知道，不知道的搜一搜也就知道了。 所以我觉得只要
海量数据下的数据分析工具
chinansa的博客
11-28 979
同时，在数据挖掘和机器学习任务中，Spark的机器学习库（MLlib）可以处理海量的训练数据，进行模型训练，如对几百万用户的消费行为数据进行用户画像建模。例如，在电商平台中，可以用它来分析用户订单数据（包括订单详情、用户信息、商品信息等多个关联表），处理几十万甚至几百万行的销售记录，计算每个用户的消费总额、每个商品的销售数量等。例如，企业资源规划（ERP）系统中的数据，包括生产、采购、库存等数据（数据量可能达到几百万行），通过SQL Server的存储过程和分析服务，能够有效地进行供应链分析和成本控制。
如何使用hadoop对海量数据进行统计并排序
wusecaiyun的专栏
01-04 4015
不得不说，Hadoop确实是处理海量离线数据的利器，当然，凡是一个东西有优点必定也有缺点，hadoop的缺点也很多，比如对流式计算，实时计算，DAG具有依赖关系的计算，支持都不友好，所以，由此诞生了很多新的分布式计算框架，Storm，Spark，Tez，impala，drill，等等，他们都是针对特定问题提出一种解决方案，新框架的的兴起，并不意味者他们就可以替代hadoop，一手独大，HDFS和M
Redis 实战篇：巧用 Bitmap 实现亿级海量数据统计
码哥字节
05-24 882
在移动应用的业务场景中，我们需要保存这样的信息：一个 key 关联了一个数据集合。常见的场景如下：给一个 userId ，判断用户登陆状态；显示用户某个月的签到次数和首次签到时间；两亿用户...
维度预算实战海量数据增量统计查询
huitoukest的专栏
01-26 1636
需求 以下为笔者在实际项目过程中的简化场景，主要描述维度预算和查询的相关思路，部分细节可忽略（比如其它基于数据维度的分库分表）。 简化场景 假设当前有一个销售平台 销售a、b、c、三种货物，后续可能销售其它货物 这三种货物由fa、fb、fc三家厂家生产，后续可能新增其它厂家 货物最终被销售网全国各地，已发货的货物认为售出 货物可能被退货，退货货物不计入售出 货物的销售数量非常大，售出 Max(并发)约 每秒 <= 200 , 总数据量年 约等于 1 亿 简化要求 ps： 实时
如何实现一个海量数据的统计任务
attackers的博客
03-16 508
如何实现一个海量数据的统计任务？
在海量数据中统计出现次数最多的n个
longzuo
06-08 3990
在海量数据中统计出现次数最多的n个  分两种情况，   1 如果数据能够在内存中放下，比如如果海量数据是ip地址，最多有4G个ip地址，每个ip地址占4个字节 需要内存16G，如果内存在几十G，则完全可以全部装入内存，    直接读取大文件，然后创建一个hash表，统计次数，最后再用堆统计最大的n个 2  如果不能在内存放下，比如海量数据是字符串，不同的字符串个数无限，内存中可能存
php如何对海量数据进行基数统计
whf1215847706的专栏
10-24 439
在PHP中，对海量数据进行基数统计通常可以使用布隆过滤器（Bloom Filter）或者Count-Min Sketch算法。
海量数据统计出现次数
azi8860的博客
08-10 509
分两种情况， 1) 如果数据能够在内存中放下，比如如果海量数据是ip地址，最多有4G个ip地址，每个ip地址占4个字节 需要内存16G，如果内存在几十G，则完全可以全部装入内存，直接读取大文件，然后创建一个hash表，统计次数，最后再用堆统计最大的n个 2) 如果不能在内存放下，比如海量数据是字符串，不同的字符串个数无限，内存中可能存不下，那么需要先将海量数据进行分堆，按照hash值...
Redis HyperLogLog：海量数据基数统计实战
最新发布
fykam的博客
11-27 1098
Redis的HyperLogLog是一种高效的概率型数据结构，用于估算海量数据中的基数（不重复元素数量）。其核心原理基于伯努利试验和哈希算法，通过统计哈希值中首个1的位置来估算基数，误差率约0.81%。Redis提供PFADD（添加元素）、PFCOUNT（获取基数）和PFMERGE（合并统计）等命令，适用于网站访客统计、APP活跃用户分析等场景。通过Python代码示例演示了其使用方法，展示了在保证性能的同时大幅降低内存占用的优势，是处理大规模基数统计的理想选择。
海量数据情况下，怎么用Bitmap进行签到统计？
NULL
10-29 995
在 Web 和移动应用的业务场景中，我们经常需要保存这样一种信息：统计用户在手机 App 上的签到打卡信息。 在签到打卡的场景中，我们只用记录签到（1）或未签到（0），它就是非常典型的二值状态。在签到统计时，每个用户一天的签到用 1 个 bit 位就能表示，一个月（假设是 31 天）的签到情况用 31 个 bit 位就可以，而一年的签到也只需要用 365 个 bit 位。
Redis HyperLogLog实现海量数据统计
qq_62426812的博客
09-08 303
通过查询数据量可以看到，他这个数据量不是一个精确值，是根据一个算法进行一个预估，不过这个预估的误差一般不超过1%，同时还有一个问题，他插入的数据没法拿到，也就是说只能进行一个数据的统计。同时他还能支持对多个HyperLogLog进行合并去重计算，比方说想统计一周的访问量之类的，就可以直接对多个HyperLogLog进行合并。最后输出是2024259，可以看到对大数据量的统计和去重合并还是很牛的，如果对精度需求不是特别高的情况下。根据这个场景，用HyperLogLog往redis插入100W的数据量的数据。
Predis HyperLogLog：海量数据基数统计的内存优化方案
gitblog_01167的博客
11-02 1067
你是否还在为百万级用户访问量的UV统计而烦恼？当需要统计网站独立访客、商品浏览记录或用户行为轨迹时，传统数据库的`COUNT(DISTINCT)`不仅占用大量内存，还会导致查询性能急剧下降。Predis提供的HyperLogLog（超日志log）数据结构，仅需12KB内存就能轻松处理千万级数据的基数统计，误差率控制在0.81%以内，完美解决内存与性能的双重挑战。 ## HyperLogLog核心...
【HyperLogLog：用极小空间统计海量数据】
weixin_64178283的博客
09-27 1063
Redis的HyperLogLog是一种革命性数据结构，能以1.5KB固定内存统计数十亿级唯一元素，误差仅0.81%。相比传统Set/Bitmap方法，它解决了海量UV统计中的内存爆炸（1亿用户节省99%内存）、计算延迟和成本问题。核心原理基于概率统计与分桶调和平均，通过哈希值前导零分布估算基数，支持O(1)时间复杂度的PFADD/PFCOUNT操作及多集合合并（PFMERGE）。典型应用包括网站UV统计、广告点击去重和大规模用户行为分析，适合误差容忍场景。
【UV统计】海量数据统计的前世今生
ERKELIU的博客
12-13 831
背景 在互联网公司中，每个项目都需要数据统计、分析，便于项目组利用详细数据研究项目的整体情况，进行下一步的调整。在数据统计中，UV统计是最常见的，也是最普遍的。有的场景要求实时性很高，有点场景要求准确性很高，有的场景比较在意计算过程中的内存。不同的场景使用不同的算法，下面我们从0到1简单介绍下UV统计领域。 什么是UV统计 假设我们的场景是商家这边上架一系列水果，然后需要统计出一共上架几种水果。具体如下所示： 针对这个问题，我们想到的最简单的方式就是利用STL中的set处理。 SET 上架一个水果的时
OceanBase 4.3.3 AP 解析：应用 RoaringBitmaps 类型处理海量数据的判重和基数统计
OceanBase分布式数据库的博客
03-21 1564
对于大数据开发人员而言，处理海量数据的判重操作和基数统计是常见需求，而 RoaringBitmap类型及其相关函数是当前非常高效的一种解决方案。本文重点阐述 RoaringBitmap 的原理、应用场景，并提供 OceanBase 中 RoaringBitmap 的应用示例。
大数据下的高级算法：hyperloglog,统计海量数据下不同元素的个数
tyler_download的专栏
01-20 1995
redis中hyperloglog算法和数据结构的原理
大数据之使用hadoop对海量数据进行统计并排序
Stereo
02-13 4031
不得不说，Hadoop确实是处理海量离线数据的利器，当然，凡是一个东西有优点必定也有缺点，hadoop的缺点也很多，比如对流式计 算，实时计算，DAG具有依赖关系的计算，支持都不友好，所以，由此诞生了很多新的分布式计算框 架，Storm，Spark，Tez，impala，drill，等等，他们都是针对特定问题提出一种解决方案，新框架的的兴起，并不意味者他们就可以替 代hadoop，一手独大，HDF
海量数据统计通解之 偌大的数据，“弱小”的内存——逐个击破！
09-29 2342
通常，海量数据统计上都存在一个普遍问题就是希望内存占用很低。为什么要这么做？因为数据海量，海量到你再有钱也买不了能装下他们的内存。 比如这个： 有a，b两个文件，每一个里面有50亿个URL，每一个URL为64字节。让你找出来同时在a，b两个文件中的URL。内存只有4g。 我
海量数据统计通解之 整数型数据的频率统计——巧妙应用数值范围分割数据
09-30 1798
整数型数据如何判重我已经给出了答案，当位数组过于庞大的时候怎么利用位数组的映射范围分割文件我也给出了答案。现在考虑这么一个事： 有这么一天，全中国孩子的高考成绩都汇报给你了（海量数据），现在，我让你统计出来考试总分对应的人数。 例如 总分610的有那么1万个人，510
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值