大数据测试总结

原创

已于 2025-03-04 21:13:40 修改 · 1.3k 阅读

于 2025-03-04 21:01:03 首次发布

总结测试要点：
参考产品文档，技术文档梳理以下内容

需求来源

业务方应用场景

数据源，数据格转，数据产出，数据呈现方式（数据消亡史），数据量级（增量，全量），更新频率，数据产出时效

数据流转方式（http接口，GRPC接口，中间表，宽表等）

数据多样性（不同类型维度的处理数据，例如被标识的维度数据以用户为例: 客户，客服，用户，玩家等）

使用数据的频次频率（相对应的查询服务数据库的压力，接口服务器的压力，评测是否需压测及调优）

游戏BI报表的测试需以数据准确为核心，结合业务规则验证、性能压测、安全审计，并关注用户体验。通过自动化工具减少重复工作量，最终确保报表成为业务决策的可靠依据。

针对游戏业务的数据BI报表（如用户活跃、付费分析、留存率等），测试需覆盖数据准确性、实时性、多维度分析能力及用户体验。以下是核心测试重点：

一、数据准确性验证

源数据完整性验证数据采集是否完整（如日志埋点是否覆盖所有关键事件：登录、付费、任务完成等）。测试方法：比对原始日志（Kafka/RabbitMQ）与数据仓库（Hive/DW）的记录数、字段值是否一致。

ETL逻辑正确性确保清洗、转换规则正确（如去重、异常值处理、时区转换）。示例测试：验证“付费金额”是否按汇率转换为统一货币（如USD），过滤测试环境脏数据。

计算指标正确性核心指标公式验证（如DAU、ARPU、LTV）：sql复制-- DAU（日活跃用户） SELECT COUNT(DISTINCT user_id) FROM user_login WHERE dt='2023-10-01'; -- ARPU（平均每用户收入） SELECT SUM(revenue)/COUNT(DISTINCT user_id) FROM payment WHERE dt='2023-10-01'; 测试方法：用小规模测试数据集手工计算，比对BI工具输出结果。

跨表关联一致性验证多表JOIN的正确性（如用户表+付费表+行为表）。典型问题：用户ID映射错误导致数据错位。

二、实时性测试

数据延迟验证T+1报表的截止时间（如当日凌晨2点生成昨日数据），实时看板延迟是否≤1分钟。测试工具：注入带时间戳的测试事件，监控Kafka→Flink→BI的端到端延迟。

增量更新机制验证新增数据是否实时刷新（如玩家付费后，看板GMV是否立即更新）。测试场景：模拟玩家在整点前完成付费，检查整点统计是否包含该订单。

三、多维度分析能力

维度组合正确性测试按时间（日/周/月）、渠道（iOS/Android）、地区、用户分层（VIP/普通）等维度的下钻/上卷结果。示例问题：按“渠道+地区”筛选时，数据聚合错误导致iOS用户数被重复计算。

过滤条件覆盖性验证复杂过滤条件（如“付费金额>100且等级≥30的用户”），结果是否精确。边界测试：空值（NULL）、极值（0付费用户）的处理是否符合预期。

时间窗口灵活性支持自定义时间段（如近7天、自然周、活动周期），验证跨天数据是否连续。典型错误：跨自然周查询时，周累计数据未正确拼接。

四、性能与稳定性

查询响应时间设定性能基线（如简单查询≤3秒，复杂多表JOIN≤30秒），压测高并发场景（100用户同时查询）。优化方向：检查数据仓库索引、Presto/Spark资源分配。

大数据量承载能力模拟亿级用户数据，验证报表加载不超时、不崩溃。测试工具：使用JMeter生成大规模查询请求。

容错与恢复断网或服务宕机后，验证数据补刷机制是否正常（如补跑Flink作业修复缺失分区）。日志监控：确保ETL失败时告警及时触发（如集成Prometheus+Alertmanager）。

五、安全与权限控制

数据权限隔离验证不同角色（运营、策划、客服）仅能访问授权数据（如分区限制、字段脱敏）。测试案例：客服账号查询报表时，隐藏“用户手机号”等敏感字段。

SQL注入防护模拟恶意输入（如' OR 1=1 --），验证BI前端是否过滤异常参数。

六、用户体验与展示

可视化准确性图表与数据表的数值一致性（如折线图峰值对应表格中的最大值）。常见问题：前端四舍五入导致总计数值与明细求和不等。

交互友好性测试筛选、排序、导出功能是否正常，页面加载无卡顿。移动端适配：报表在手机/Pad上的显示效果（如表格自适应、图表可缩放）。

什么是hive

Hive的核心特点，比如使用HQL，底层是MapReduce或Tez，数据存储在HDFS。还要提到Hive的优缺点，比如适合批处理，延迟高，不适合实时查询。

Hive 的核心特点

基于Hadoop数据存储在HDFS（Hadoop分布式文件系统）中，计算依赖MapReduce、Tez或Spark引擎。适合处理批量数据（如日志、历史记录），但延迟较高（分钟级响应），不适用于实时场景。

类SQL接口（HiveQL）支持SELECT、JOIN、GROUP BY等SQL操作，但对复杂事务支持有限（如不支持行级更新）。示例HQL语句：sql复制CREATE TABLE user_behavior ( user_id INT, action STRING, timestamp BIGINT ) STORED AS ORC;

元数据管理使用Metastore（通常基于MySQL或PostgreSQL）存储表结构、分区等信息，与数据文件分离。

数据存储优化支持分区（按日期、地区等分割数据）和分桶（哈希分桶加速查询），提升查询效率。文件格式优化：如ORC（列式存储）、Parquet（高效压缩）。