具体描述
资深Hadoop - YARN专家最新力作
■ 涵盖Hadoop的架构、重要元件、主要计算模型、资源排程
■ 理论与实作结合，透过实际常式降低读者学习难度
■ 具实战性，部分案例直接选自BAT中的工程实例
作者从事分散式教学与研究十余年，与国内外顶尖公司的交流中， 发现Hadoop很适合作为一个分散式课程教学实作与研究平台，因此编着本书，有系统地介绍Hadoop - YARN的基本概念与运行模式。
内容涵盖Hadoop的架构、重要元件、主要计算模型、资源排程等重要问题。
著者信息
图书目录
前言
第1 章 YARN 的前世今生
1.1 Hadoop 基本情况回顾
1.2 为什么我们需要YARN
1.3 YARN 和Hadoop 1.0 比较分析
1.4 Hadoop 生态系统
1.5 小结
第2 章YARN 基本架构
2.1 YARN 基本架构
2.2 ResourceManager
2.3 NodeManager
2.4 ApplicationMaster
2.5 YARN 中应用程式的执行过程
第3 章程式设计初步
3.1 YARN 安装与设定
3.2 原始程式阅读及编译
3.3 MapReduce 实例
3.4 HBase 程式设计初步
第4 章 YARN 核心元件分析
4.1 通讯元件Protocol Buffer
4.2 Hadoop 1.0 RPC 和YARN RPC
4.3 YARN 状态机分析
4.4 4.4 HDFS Federation
第5 章 YARN 中几种计算模型
5.1 以YARN 为基础的MapReduce 进阶
5.2 Storm on YARN
5.3 Spark on YARN
第6 章 YARN 资源排程器
6.1 Hadoop 资源排程器回顾
6.2 YARN 资源排程器
6.3 YARN 排程负载模拟器-SLS
6.4 Google 第三代排程器分析
第7 章 YARN 工作流分析
7.1 Tez on YARN
7.2 显性工作流引擎
第1 章 YARN 的前世今生
1.1 Hadoop 基本情况回顾
1.2 为什么我们需要YARN
1.3 YARN 和Hadoop 1.0 比较分析
1.4 Hadoop 生态系统
1.5 小结
第2 章YARN 基本架构
2.1 YARN 基本架构
2.2 ResourceManager
2.3 NodeManager
2.4 ApplicationMaster
2.5 YARN 中应用程式的执行过程
第3 章程式设计初步
3.1 YARN 安装与设定
3.2 原始程式阅读及编译
3.3 MapReduce 实例
3.4 HBase 程式设计初步
第4 章 YARN 核心元件分析
4.1 通讯元件Protocol Buffer
4.2 Hadoop 1.0 RPC 和YARN RPC
4.3 YARN 状态机分析
4.4 4.4 HDFS Federation
第5 章 YARN 中几种计算模型
5.1 以YARN 为基础的MapReduce 进阶
5.2 Storm on YARN
5.3 Spark on YARN
第6 章 YARN 资源排程器
6.1 Hadoop 资源排程器回顾
6.2 YARN 资源排程器
6.3 YARN 排程负载模拟器-SLS
6.4 Google 第三代排程器分析
第7 章 YARN 工作流分析
7.1 Tez on YARN
7.2 显性工作流引擎
图书序言
前言
随着电脑、网际网路技术的发展，很多以前只能在单机上执行的程式现在越来越呈现出分佈化、网路化的特点，近几年来，云端运算、大数据更成为炙手可热的社会关注重心。在目前资讯爆炸的时代，每天都在产生大量的资讯资料，而如何高效率地对这些资讯进行处理成为电脑研发人员必须面对的挑战。虽然陆续提出过平行计算、网格计算等方案，但是在面临大规模，高效应用需求时都不是很理想。Hadoop的诞生，极佳地契合了目前全球电脑技术发展的潮流，由于其稳定性、可扩充性、开放原始码性，Hadoop成为国内外公司在云端运算时代的首选支撑平台。
作者从事分散式教学与研究十余年，在同国内外顶尖公司的交流中，我们发现Hadoop很适合作为一个分散式课程教学实作与研究平台，因为Hadoop既包含了独立元件的执行，也包含了分佈化的不同元件之间的通讯，还包含了分散式系统的架构设计等，Hadoop事实上成为一个集大成的分散式系统。最为难能可贵的是，Hadoop是完全开放原始码的系统，这使得我们有机会深入其中进行分析、研究。因此，近年来，作者逐步在分散式教学与研究中引用Hadoop系统，获得了明显的效果。在对Hadoop进行分析研究的基础上，我们意识到目前Hadoop 书籍还会有一些不满意的地方，例如：①由于Hadoop 2.0-YARN在2013 年11 月才发佈稳定版，因此，对YARN的公开研究资料还不多，目前可查询到的YARN中文版书籍还比较少，这些书籍虽然也不错，但是更适合一个Hadoop从业人员作为技术手册，对广大普通读者来说，入门门槛过高，而且看过后基本还是不会撰写YARN程式。②虽然网路上也有不少这方面的资料，但是由于网路写作的随意性，资料很零散且存在很多错误，因此让初学者和普通开发人员很难快速入手。
基于此，作者着手编着一本针对Hadoop-YARN的书籍。本书在写作过程中注重实作教学，因此配备有很多实际常式，这样读者可以边看书、边安装、边侦错，因此降低学习难度，加快学习进度，同时，本书对YARN中的一些核心内容的剖析也很有价值，如①计程车Storm on YARN即时处理实例；② YARN 状态机资讯捕捉；③ YARN排程模拟器——SLS分析，并与Google第三代排程器Omega进行比较分析。这些资料都既有文字说明，又有实际程式。以我们长期为基础的实作，有些内容是第一次透明，网路上也没有的，所以对读者会有很大的吸引力。本书在写作工程中，也力求和公司的专案结合起来，因此，部分案例直接选自BAT中的专案实例，这使得本书更具有实战性。
作为广大的大学和所究所同学，可以参照本书实例进行研究或修改，为他们进行分散式、云端运算平台学习，专业课专案设计或毕业论文提供参考。本书也可作为业界研发人员的专案实作提供参考。
本书第1~6章由周维老师主要负责撰写，第7章由薛岗老师主要负责撰写。另外来自阿里巴巴的杨辉先生，袁硕同学，以及在百度的刘笠熙同学、周可人同学都提出了宝贵意见并设计了部分案例。此外，还要特别感谢很多参与程式侦错的所究所学生，这其中包含麦超、刘建坤、刘长春、范航凯、傅央、张浩、向文坤、魏征、孙淋川、罗洁等。没有大家的帮助，这本书也不可能这么快写完，在此对所有支援本书编着的人表示衷心的感谢。
由于时间仓促，本书难免存在不妥之处，请读者批评指正。
随着电脑、网际网路技术的发展，很多以前只能在单机上执行的程式现在越来越呈现出分佈化、网路化的特点，近几年来，云端运算、大数据更成为炙手可热的社会关注重心。在目前资讯爆炸的时代，每天都在产生大量的资讯资料，而如何高效率地对这些资讯进行处理成为电脑研发人员必须面对的挑战。虽然陆续提出过平行计算、网格计算等方案，但是在面临大规模，高效应用需求时都不是很理想。Hadoop的诞生，极佳地契合了目前全球电脑技术发展的潮流，由于其稳定性、可扩充性、开放原始码性，Hadoop成为国内外公司在云端运算时代的首选支撑平台。
作者从事分散式教学与研究十余年，在同国内外顶尖公司的交流中，我们发现Hadoop很适合作为一个分散式课程教学实作与研究平台，因为Hadoop既包含了独立元件的执行，也包含了分佈化的不同元件之间的通讯，还包含了分散式系统的架构设计等，Hadoop事实上成为一个集大成的分散式系统。最为难能可贵的是，Hadoop是完全开放原始码的系统，这使得我们有机会深入其中进行分析、研究。因此，近年来，作者逐步在分散式教学与研究中引用Hadoop系统，获得了明显的效果。在对Hadoop进行分析研究的基础上，我们意识到目前Hadoop 书籍还会有一些不满意的地方，例如：①由于Hadoop 2.0-YARN在2013 年11 月才发佈稳定版，因此，对YARN的公开研究资料还不多，目前可查询到的YARN中文版书籍还比较少，这些书籍虽然也不错，但是更适合一个Hadoop从业人员作为技术手册，对广大普通读者来说，入门门槛过高，而且看过后基本还是不会撰写YARN程式。②虽然网路上也有不少这方面的资料，但是由于网路写作的随意性，资料很零散且存在很多错误，因此让初学者和普通开发人员很难快速入手。
基于此，作者着手编着一本针对Hadoop-YARN的书籍。本书在写作过程中注重实作教学，因此配备有很多实际常式，这样读者可以边看书、边安装、边侦错，因此降低学习难度，加快学习进度，同时，本书对YARN中的一些核心内容的剖析也很有价值，如①计程车Storm on YARN即时处理实例；② YARN 状态机资讯捕捉；③ YARN排程模拟器——SLS分析，并与Google第三代排程器Omega进行比较分析。这些资料都既有文字说明，又有实际程式。以我们长期为基础的实作，有些内容是第一次透明，网路上也没有的，所以对读者会有很大的吸引力。本书在写作工程中，也力求和公司的专案结合起来，因此，部分案例直接选自BAT中的专案实例，这使得本书更具有实战性。
作为广大的大学和所究所同学，可以参照本书实例进行研究或修改，为他们进行分散式、云端运算平台学习，专业课专案设计或毕业论文提供参考。本书也可作为业界研发人员的专案实作提供参考。
本书第1~6章由周维老师主要负责撰写，第7章由薛岗老师主要负责撰写。另外来自阿里巴巴的杨辉先生，袁硕同学，以及在百度的刘笠熙同学、周可人同学都提出了宝贵意见并设计了部分案例。此外，还要特别感谢很多参与程式侦错的所究所学生，这其中包含麦超、刘建坤、刘长春、范航凯、傅央、张浩、向文坤、魏征、孙淋川、罗洁等。没有大家的帮助，这本书也不可能这么快写完，在此对所有支援本书编着的人表示衷心的感谢。
由于时间仓促，本书难免存在不妥之处，请读者批评指正。
图书试读
用户评价
相关图书
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等
© 2025 ttbooks.qciss.net All Rights Reserved. 小特书站 版权所有