大数据学习笔记

大数据 Big Data 学习笔记 大数据框架 一、Big Data名字由来二、Big Data定义1.定义：2.本质：3.目标：三、大数据的四个微特征1.数据量巨大 （Volume）2.种类和来源多样化 （Variety）3.分析处理速度快（Velocity）4.价值密度低，商业价值高（Value）四、大数据的结构特征1.结构化数据2.半结构化数据3.非结构化数据五、数据处理技术分布式演...

大数据学习笔记项目教程 1. 项目目录结构及介绍 bigdata-learning-notes 项目的目录结构如下： bigdata-learning-notes/ ├── DS_Store ├── gitignore ├── LICENSE ├── README.md ├── img ├── note │ ├── Hadoop │ ├── Hive │ ├── Kafka │ ├...

概念定义重要性分区数据的逻辑分割单元并行计算的基础血缘关系RDD之间的依赖关系容错恢复的依据懒惰计算延迟到Action才执行优化计算效率批量处理分区内数据一起处理提高资源利用率RDD 的本质：不是数据容器：RDD 不直接存储数据是计算描述：记录如何从数据源或父RDD计算出当前数据分布式抽象：将分布在多台机器上的数据统一抽象懒惰计算：只有Action操作才触发真正的数据计算血缘关系：记录RDD之间的依赖关系，用于容错恢复RDD 像一张"菜谱"，记录了如何做菜的步骤。

300 秒带你吃透大数据！ https://mp.weixin.qq.com/s/VWaqRig6_JBNYC1NX7NQ-Q 转载于:https://www.cnblogs.com/pegasus923/p/11474860.html

要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。MemStore：HBase数据先写入HLog之中，并同时写入MemStore，待满足一定条件后将MemStore中数据刷到磁盘，能提升HBase的写性能和读性能。即使是Key值相同，Qualifier也想通的多个KeyValue，也可能有多个版本，此时使用时间戳来区分，这就是同一条数据记录的多版本。

01- hadoop 02-hive 03-hue 04-flume 05-sqoop

华为hcip-big data 学习笔记《一》大数据应用开发总指导 - 2. 大数据场景化解决方案

大数据运维学习笔记之搭建大数据平台，手动方式

Java学习笔记，大数据学习笔记，超全面！！！

它将原本复杂的任务拆解为多个相对简单的子任务，把难以洞察的整体处理流程，转变为清晰易懂的多个层级，每一层的处理逻辑都一目了然。这种方式极大地降低了维护难度，不仅易于确保每个处理步骤的准确性，而且当数据出现错误时，也能够快速溯源，仅对特定层级进行针对性的局部调整，从而显著减少问题定位与修复的时间成本。运维层面：一台机器上的应用太多，不同的环境，安装过程也不一样，管理麻烦，怎么。开发层面：不同程序的运行受到环境、资源等因素的干扰，不同的环境，开发的方式也。硬件容器：将一个硬件虚拟为多个硬件，上层共用硬件。

尚硅谷大数据项目【电商数仓5.0】学习笔记

本文是尚硅谷Hadoop教程的学习笔记，由于个人的需要，只致力于搞清楚Hadoop是什么，它可以解决什么问题，以及它的原理是什么。至于具体怎么安装、使用和编写代码不在我考虑的范围内。 一、Hadoop入门 大数据的特点： Volume（大量） Velocity（高速） Variety（多样） Value（低价值密度） 1. Hadoop概念 是一个分布式系统基础架构 2. Hadoop优势 高可靠 高扩展性 高效性 高容错性 3. Hadoop组成 (1) HDFS架构概述 HDFS（Hadoop

HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发，具有分布式文件系统、高容错、高吞吐量、大文件存储。回收站可以设置一个阀值(单位：分钟)，当回收站的文件存放超过阀值或回收站被清空时，文件才会被彻底删除，释放占用的数据块。离线批处理引擎：HDFS，Yarn，MapReduce，Hive，Spark，Spark SQL。适合做大文件存储与访问、流式数据访问，不适合做大量小文件存储、随机写入、低延迟读写。

- "DELIMITED FIELDS TERMINATED BY"指定列与列之间的分隔符为','，"MAP KEYS TERMINATED BY"指定MAP中健值的分隔符为'&'-- 当连接一个较小和较大表时，把较小的表直接放到内存中，然后再对较大的表进行Map操作。数据倾斜指计算数据的时候，数据的分散度不够，导致大量的数据集中到了一台或者几台机器上计算，这些数据的计算速度远远低于平均计算速度，导致整个计算过程过慢。

大数据预处理：基于Python的应用》一书的学习笔记，本书用四个数据集作为案例详细讲解了大数据预处理，由于保险数据集并不是公开数据集，所以只跟着做了其他三个，整理在这里。

Spark是基于内存的分布式批处理系统，任务拆分分配到多个CPU上进行处理，处理数据的中间产物(处理结果)存放在内存中，减少磁盘I/O，提升处理速度，在数据处理和数据挖掘方面比较占优势。查询分析(Query Analysis)：支持SQL的查询分析，同时提供领域特定语言(DSL)，以方便操作结构化数据，并支持多种外部数据源。离线批处理引擎：HDFS，Yarn，MapReduce，Hive，Spark，Spark SQL。Hive: 大数据SQL批处理引擎，用于处理SQL类批处理作业，但是处理速度较慢。

注：本文是学习由清华大学徐葳老师教授的公开课大数据系统之云计算的笔记。 课程分为四部分： 云计算与大数据系统之间的关系 云计算的商业模式 云计算的核心技术----虚拟化 计算虚拟化 网络虚拟化 存储虚拟化 云计算技术案例分享 总结： 云计算的核心思想 性能：并行化 经济性：规模化、公有云 可管理：虚拟化 从云计算到大数据 虚拟化提供了硬件资源的抽象 用...