BigData大数据应用开发学习笔记(02)离线处理--数据存储HDFS

BigData大数据应用开发学习笔记(02)离线处理--数据存储HDFS

一.离线批处理特点
    处理时间要求不高、数据量巨大、数据格式多样、占用计算存储资源多
    MR作业，Spark作业，HSQL作业实现
    数据源：流式数据、文件数据、数据库
    数据采集：实时采集(Flume、第三方采集)，批量采集(Flume、Sqoop、第三方ETL)
    离线批处理引擎：HDFS，Yarn，MapReduce，Hive，Spark，Spark SQL
    业务应用：数据集市，数据仓库(交互式分析)，专题库

    离线批处理常用组件:
    HDFS: 分布式文件系统，为各种批处理引擎提供数据存储，可以存储各种文件格式数据。
    YARN: 资源调度引擎，为各种批处理引擎提供资源调度能力。
    MapReduce: 大数据批处理引擎，用于处理海量数据，但是处理速度较慢。
    Hive: 大数据SQL批处理引擎，用于处理SQL类批处理作业，但是处理速度较慢。
    Spark: 基于内存的数据处理引擎，适合海量数据，处理速度高效。
        Spark SQL: Spark处理结构化数据的一个模块。

二.数据存储HDFS
1.HDFS说明
    HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发，具有分布式文件系统、高容错、高吞吐量、大文件存储。
    适合做大文件存储与访问、流式数据访问，不适合做大量小文件存储、随机写入、低延迟读写。

    HDFS架构：
    NameNode，DataNode