☆☆☆☆☆
简体网页||繁体网页



点击这里下载

类似图书 点击查看全场最低价

Hadoop是一种分散式资料和计算的框架，在巨量资料处理中应用非常广泛。MapReduce是一种程式设计模型，Hadoop正是以MapReduce作为核心程式设计模型的。

　　本书深入浅出、有系统地透过非技术性的表达方式和详细的原始程式分析，介绍MapReduce 2.0的理论系统、架构和程式设计方法。帮助读者掌握MapReduce 2.0基础和特性的基础上，培养实际程式设计和解决巨量资料处理问题的能力。

　　强调理论联系实际，注重MapReduce程式设计解决现实问题的应用，提供大量程式设计实战例题供读者参考。

作者简介

王晓华

　　资深电脑专业讲师，教授物件导向程式设计、资料结构、Hadoop程式设计等相关课程，主要研究云端运算、资料採撷，发表过多篇论文。

前言

第1章1 大象也会跳舞
1.1 巨量资料时代
1.2 巨量资料分析时代
1.3 简单、粗暴、有效--这就是Hadoop
1.4 MapReduce 与Hadoop  
1.5 看，大象也会跳舞
本章小结  

第2章2 大象的肚子--HDFS 档案系统详解
2.1 HDFS 基础详解
2.1.1 HDFS 设计想法
2.1.2 HDFS 架构与基本存放装置单元
2.2 HDFS 资料存取流程分析
2.2.1 HDFS 资料储存位置与复制详解  
2.2.2 HDFS 输入串流程分析
2.2.3 HDFS 输出串流程分析
2.3 HDFS 命令列操作详解  
2.3.1 HDFS 中4 个通用的命令列操作
2.3.2 HDFS 档案18 个基本命令列的操作
2.3.3 HDFS 档案存取权限详解
2.4 透过Web 浏览HDFS 档案
2.5 HDFS 介面使用详解
2.5.1 使用FileSystem API 操作HDFS中的内容  
2.5.2 使用FileSystem API 读取资料详解
2.5.3 使用FileSystem API 写入资料详解
2.6 HDFS 档案同步与平行处理存取
本章小结

第3章　「 吃下去吐出来」--Hadoop 档案I/O 系统详解
3.1 Hadoop 的压缩类型介绍  
3.2 Hadoop 的压缩类别库  
3.2.1 从一个简单的实例开始
3.2.2 CompressionCodec 介面
3.2.3 CompressionCodecFactory 类别详解  
3.2.4 压缩池  
3.2.5 在Hadoop 中使用压缩
3.3 I/O 中序列化类型详解
3.3.1 Text 类别详解
3.3.2 IntWritable 类别详解
3.3.3 ObjectWritable 类别详解
3.3.4 NullWritable 类别详解
3.3.5 ByteWritable 类别详解
3.4 实现自订的Writable 类型
3.4.1 Writable 介面  
3.4.2 WritableComparable 介面与RawComparator 介面
3.4.3 自订的Writable 类别
3.4.4 为了更快的比较  
3.5 Hadoop 中小档案处理详解
3.5.1 SequenceFile 详解
3.5.2 MapFile 详解
本章小结

第4章　「大象的大脑」--MapReduce 框架结构与原始程式分析
4.1 MapReduce 框架结构与原始程式分析
4.1.1　MapReduce 框架分析与执行过程详解  
4.1.2　MapReduce 输入输出与原始程式分析  
4.1.3　MapReduce 中Job 类别详解
4.2 程式设计实战：经典的MapReduce 单字计数程式  
4.2.1　准备工作  
4.2.2　MapReduce 过程分析
4.2.3　计数程式的MapReduce 实现  
4.2.4　计数程式的main 方法
4.2.5　注意事项  
4.2.6　执行结果
4.2.7　Mapper 中的Combiner 详解  
本章小结

第5章5 深入！ MapReduce 设定与测试
5.1 MapReduce 环境变数设定详解  
5.1.1　使用XML 设定新的设定档  
5.1.2　修改已有的设定档
5.1.3　辅助类别ToolRunner、Configured 详解
5.2 使用MRUnit 对MapReduce 进行测试  
5.2.1　MRUnit 简介与使用  
5.2.2　使用MRUnit 完成Mapper 单元测试  
5.2.3　使用MRUnit 完成Reduce 单元测试  
5.2.4　使用MRUnit 完成MapReduce 单元测试  
5.3 在本机磁碟上进行MapReduce 测试  
5.3.1　虚拟环境欺骗  
5.3.2　在Eclipse 中设定Hadoop 外挂程式
5.3.3　撰写本机测试程式
5.4 MapReduce 计数器  
5.4.1　使用计数器的MapReduce 程式设计  
5.4.2　透过Web 介面进行工作分析
5.4.3　透过Web 介面检视计数器
本章小结

第6章　大象的思考流程--MapReduce 执行流程详解
6.1 经典MapReduce 工作的工作流程
6.1.1　ClientNode 执行工作的初始化
6.1.2　讯息传递  
6.1.3　MapReduce 工作的执行  
6.1.4　工作的完成与状态更新
6.2 经典MapReduce 工作例外处理详解
6.2.1　MapReduce 工作例外的处理方式  
6.2.2　MapReduce 工作失败的处理方式
6.3 经典MapReduce 工作的资料处理过程
6.3.1　Map 端的输入资料处理过程
6.3.2　Reduce 端的输入资料处理过程  
6.3.3　Java 虚拟机器重用
6.4 MapReduce 2.0（YARN）工作流程详解
6.4.1　YARN 概述
6.4.2　YARN 工作过程分析
6.4.3　YARN 的例外处理
本章小结
 
第7章7 更强的大象--MapReduce 进阶程式设计( 续)
7.1 MapReduce 程式设计预设格式类型详解
7.1.1　map 与reduce 方法的预设输入输出类型  
7.1.2　自订输入输出类型设定  
7.1.3　自订全域类型变数设定要求
7.1.4　预设的MapReduce 程式设定
7.2 InputFormat 输入格式详解  
7.2.1　输入记录与分区  
7.2.2　InputFormat 原始程式及执行过程分析    
7.2.3　实现自己的RecordReader 类别
7.2.4　自订的FileInputFormat 类别
7.2.5　一些常用的InputFormat 类别详解
7.3 OutputFormat 输出格式详解
7.3.1　OutputFormat 预设输出格式
7.3.2　自订OutputFormat 输出格式
7.3.3　对Reduce 工作数进行设定
7.3.4　OutputFormat 分区类别Partitioner 详解
7.4 多种输入与输出使用介绍
7.4.1　MultipleInputs 多种输入方式详解
7.4.2　MultipleOutputs 多种输出方式详解
本章小结

第8章8 MapReduce 相关特性详解
8.1 MapReduce 计数器  
8.1.1　Hadoop 框架内建的计数器
8.1.2　自订计数器  
8.1.3　动态计数器
8.1.4　取得计数器值
8.2 排序与寻找
8.2.1　普通排序规则与寻找
8.2.2　使用MapFile 进行排序与寻找
8.3 对输出结果的值分组排序
8.3.1　准备工作  
8.3.2　对结果进行分组处理  
8.3.3　对键的二次排序
8.3.4　自订输出分组
8.4 程式设计实战：使用二次排序自动寻找最小值  
8.4.1　想法分析
8.4.2　验证输入输出结果
8.4.3　对结果进行二次排序
8.4.4　对结果进行分组
8.4.5　分割处理排序与分组  
8.4.6　验证结果
本章小结

第9章9 啤酒与尿布--MapReduce 连接与资料採撷初步
9.1 对于同样格式资料进行MapReduce 连接  
9.2 对于不同格式资料进行MapReduce 连接
9.3 不能说的秘密—啤酒与尿布  
9.3.1　销售清单的秘密  
9.3.2　设计程式
9.3.3　程式执行结果
9.4 资料採撷初步  
本章小结

第10章10 MapReduce 实战程式设计及深度分析
10.1 程式设计实战：自订资料库中读取资料  
10.1.1　准备工作
10.1.2　程式分析  
10.1.3　自订SQLInputFormat
10.1.4　使用自订程式从资料库中读取资料
10.1.5　程式执行及资料分析
10.1.6　使用合併记录进行效能最佳化
10.2 程式设计实战：串联寻找共同转载微博
10.2.1　应用分析
10.2.2　第一步表转换  
10.2.3　建立关注连接
10.2.4　自订的OutputFormat .
10.2.5　串联解决共同转载微博  
10.2.6　效能最佳化及后续处理
10.3 程式设计实战：云端储存模型
10.3.1　应用分析
10.3.2　Tomcat 简介  
10.3.3　设定Tomcat 伺服器
10.3.4　测试Tomcat 伺服器
10.3.5　在Eclipse 中设定Tomcat
10.3.6　建立云端储存目录
10.3.7　取得云端储存列表
10.3.8　将档案上传至资料云端储存中
10.3.9　删除档案
10.3.10 下载云端储存档案
10.3.11 程式执行与效能最佳化
10.4 程式设计实战：多文件相似关键字检索
10.4.1　应用分析  
10.4.2　自订工作处理类别
10.4.3　程式执行及后续分析
10.5 程式设计实战：学生成绩整理与分组
10.5.1　应用分析
10.5.2　自订的ScoreWritable
10.5.3　自订的MapReduce
10.5.4　自订的分组
10.5.5　程式执行结果
10.5.6　採用更多分组类型
本章小结

None

学Hadoop永远都不迟：从MapReduce到YARN的演化 电子书 下载 mobi epub pdf txt 2025

类似图书 点击查看全场最低价

查看全网最低价