13、物联网大数据架构全解析

物联网大数据架构全解析

1. 物联网大数据架构层概述

物联网大数据架构主要包含数据处理层、数据分析与存储层以及前端层。数据处理层进行流处理，设定数据处理规则，还能管理复杂事件处理，并将信息报告给下一层。数据分析与存储层运用机器学习算法对物联网设备生成的数据进行分析和预测。前端层则连接终端用户或业务系统，将处理后的数据进行展示，以实现进一步利用，同时负责数据可视化，还可与其他系统集成以支持业务系统。

2. 大数据组件

大数据指的是传统关系型数据库无法处理的大量数据，它存储着可用于机器学习算法分析的大型数据集。大数据的基本组件可根据存储和处理业务数据的抽象层进行分类：
- 存储系统 ：这是基础组件，使用如 HDFS（Hadoop 文件系统）这样的存储文件系统来存储大型数据集及其元数据，用于主要计算。像 HBase 这样的 NoSQL 数据存储支持分布式列数据，采用键值对并使用哈希表存储数据集。
- 计算与逻辑层 ：该层涉及 MapReduce、Pig 等，用于处理大型数据集。MapReduce 先将原始数据集处理为键值数据结构，再将其汇聚成小数据集以便于计算。Pig 和 Hive 是基于 Hadoop 平台构建的高级语言，可并行处理大量数据集，还能编写脚本执行 Map Reducer 作业。
- 应用逻辑或交互 ：使用 Hive、Cascading 等提供与应用环境集成的框架。Hive 类似于 SQL，主要用于 HDFS，通过交互分析其数据，处理方式类似于查询评估引擎。Cascading 是为大数据提供数据处理应用程序编程接口（API）的