Hadoop权威指南学习笔记整理

MapReduce

一、 初识Hadoop 2.X1.  Hadoop发展和三大组件功能谷歌的三篇论文：GFS                 --->            HDFSMapReduce      --->            MapReduceBigTable           --->            HBase四大组成部分：*Common         工具，基础，...

0. Hadoop 开源的分布式系统基础架构 优点 对大量数据进行分布式处理 可靠, 假设硬件失效为常态, 针对失败节点进行重新分布处理 高效, 并行处理提高处理速度 可伸缩, 在横向扩展至上千个节点, 可处理PB级数据 低成本, 项目开源,与同类产品比较成本低廉 相关组件包括 HDFS MapReduce Yarn Hive HBase ZooKeeper Sqoop Flu...

在父亲生病的这几个月断断续续把《Hadoop实战》和《Hadoop权威指南》看了一遍，之前写的《Hadoop笔记》还有许多坑没填，有机会再填填坑。 之后思考一下学习的方向，看看自己究竟是往HDFS深究还是向算法方面发展，就像董西城老师博客中写到的，有时候学的太盲目就像值栈溢出，到头来只能是迷失。 附整理之后的图片和PDF 百度网盘:图片链接：http:/...

刚刚了解redis的知识，公司boss让我研究研究hadoop.并给了个搭建集群的小任务。 哈~哈~哈,加薪升“值”，迎娶白富美的日子不远了~。        第一周：7月31日至8月6日主要工作：

《Hadoop权威指南》知识点整理2 MapReduce部分 MapReduce应用开发_配置 一个Configuration类的实例代表配置属性极其取值的一个集合，属性由String类型来命名，而值的类型任意，Configuration从使用简单结构名值对(name-value)的XML文件中读取其属性值。后添加到资源文件的属性会覆盖之前定义的属性。 <!-- 配置文件 configuration-1.xml --> <?xml version="1.0"?> <c

《Hadoop权威指南》知识点整理5 MapReduce部分 MapReduce特性_计数器 计数器是收集作业统计信息的有效手段之一，用于质量控制或应用级统计 内置计数器分组：MapReduce任务计数器、文件系统计数器、FileInputFormat计数器、FileOutputFormat计数器、作业计数器 任务计数器：采集任务的相关信息，每个作业的所有任务的结果会被聚集起来。任务计数器由其关联任务维护，并定期发送给application master。 MAP_INPUT_RECORDS(m

《Hadoop权威指南》知识点整理3 MapReduce部分 MapReduce工作机制_作业运行机制 Hadoop运行MapReduce作业的工作原理 (1) Job创建实例，通过waitForCompletion()每秒轮询作业进度 (2) 向ResourceManager请求一个新应用ID，用于MapReduce作业ID (3) 将运行作业所需要的资源复制到一个以作业ID命名的目录下的共享文件系统中 (4) 调用ResourceManager的submitApplication()方法提交作业 (

《Hadoop权威指南》知识点整理1 Hadoop部分 一、YARN_调度 YARN调度器：FIFO调度器、容量调度器、公平调度器 YARN-FIFO调度器：简单易懂，无需配置不适合共享集群，大应用会占用集群全部资源 YARN-容量调度器：允许多组织共享一个Hadoop集群，每个组织存在专门队列，每个队列可用一定资源，队列内使用FIFO调度策略，容量调度器会将空余资源分给资源不足的队列(弹性队列)，通过设置最大容量限制避免弹性队列过多侵占其他队列的资源。容量调度器预留专门队列保证小作业快速启动，降低集群利

文档内容：1：下载《hadoop权威指南》中的气象数据2：对下载的气象数据归档整理并读取数据3：对气象数据进行map reduce进行处理关键词：《Hadoop权威指南》气象数据 map reduce python matplotlib可视化一：下载《hadoop权威指南》一书中的气象数据新建 getdata.py文件，并加入如下代码：1 #http://my.oschina.net/chyil...

《Hadoop权威指南》知识点整理4 MapReduce部分 MapReduce的类型与格式_MapReduce类型 reduce函数的输入类型必须与map函数的输出类型相同 partition函数对中间结果的键值对(map输出)进行处理，并且返回一个分区索引，分区由键单独决定(值被忽略) map：(K1, V1) => list(K2, V2) reduce：(K2, list(V2)) => list(K3, V3) 默认的partitioner是HashPartitione

1.HDFS架构讲解 2.NameNode启动过程 3.YARN架构组建功能详解 4.MapReduce 编程模型 HDFS架构讲解 源自谷歌的GFS论文 HDFS： *抑郁扩展的分布式系统 *运行在大量普通的链家机器上，提供容错机制 *为大量用户提供性能不错的文件存储服务 NameNode:单一节点。文件元素据的操作。副本存在位置由namenode决定，读取文件尽量让 用户先读取最近的副...

第1章 初识Hadoop1.1 数据！数据！大数据1ZB=1000EB=10^6^PB=10^9^TB=10^21^ 字节，相当于世界上每个人一个硬盘驱动器所能容纳数据的数量级。推荐系统中“大量数据胜于好的算法”。1.2 数据存储与分析1TB硬盘，按其传输熟读约为100MB/s来算，读取整个硬盘数据需要约2.5h，但是将相同内容存放在100个硬盘中，每个存储1%，并行读取，用时不超过2min。实际情

hadoop主要是用于处理大数据量（PB级别）的数据，hadoop提供了一个稳定的共享存储和分析系统。存储由hdfs实现，分析由mapreduce 实现。这两个功能是hadoop的核心。hadoop技术栈：PigChukwaHiveHbaseMapreduceHdfsZookeepercoreavro扩展：技术栈是一项工作或者职位所需的一系列技术统称。hadoop技术栈简单介绍：         ...

#hadoop整理笔记 ##第一章 1.hadoop的特点（理解） （1）高可靠性；采用冗余数据存储的方式，即使一个副本发生故障，其他副本也可以保证正常对外服务 （2）高效性；作为并行分布式计算平台，Hadoop采用分布式存储和分布式处理两大核心技术，能够高效的处理PB级数据 （3）高扩展性；Hadoop的设计目标是可以高效稳定的运行在廉价的计算机集群上，可以扩展到数以千计的计算机节点上 （4）高容错性；采用冗余链式存储方式，自动保存数据的多个副本，并且能够自动的失败的任务重新进行分配。 （5）成本低；

MapReduce分为两个阶段，即map和reduce连个阶段。每个阶段的输入和输出都是以键值对的方式。①Map阶段      ：输入键值对a 输出键值对b ②Reduce阶段 ：输入键值对c，输出键值对d（结果）具体例子演示

第一章：初识Hadoop MapReduce三大设计目标： 为只需要短短几分钟或几个小时就可以完成的作业提供服务 运行于同一个内部有高速网络连接的数据中心内 数据中心内的计算器都是可靠的、专门的硬件 提供Hadoop支持的公司：Cloudera、Hortonworks、MapR等 MapReduce： input --> map --> shuffle --> r.........