大数据的下一步：用Spark玩转活用 pdf epub mobi txt 电子书 下载 2025

简体网页||繁体网页

☆☆☆☆☆

随着大数据时代的到来，企业资料每天都在急剧快速膨胀，如何发掘这些资料的价值，需要一种高效而稳定的分散式运算框架和模型。Spark恰逢其时，应运而生。本书对Spark进行详细的阐述，包括核心模组和各个子系统，能让Spark初学者快速了解和上手，是学习Spark的敲门砖，希望此书能让更多的读者去深入发掘Spark之美。


　　Apache Spark由于其基于记忆体的高性能计算模式以及丰富灵活的程式设计介面，得到广泛的支援和应用，大有逐渐取代Hadoop MapReduce成为新一代大数据计算引擎的趋势。本书从原始程式码角度深入浅出地分析了Apache Spark及相关大数据技术的设计及实现，包含很多实战经验和使用心得。相信本书对于进行大数据、记忆体计算及分散式系统研究，Apache Spark的深入理解以及实际应用，都有很好的参考价值。

作者简介

夏俊鸾

　　现任阿里巴巴资料平台部高级技术专家，Apache Spark项目Committer，曾就职于英特尔亚太研发中心，微博帐号@Andrew-Xia。

刘旭晖

　　现任蘑菇街资料平台资深架构师（花名天火），曾就职于英特尔亚太研发中心大资料软体部，Spark/Hadoop/Hbase/Phoenix 等众多大资料相关开源专案的积极贡献者。

邵赛赛

　　英特尔亚太研发有限公司开发工程师，专注于大资料领域，现从事Spark相关工作，Spark代码贡献者。

程浩

　　英特尔大资料技术团队软体工程师，Shark和Spark SQL活跃开发者，致力于SQL on Big Data的性能最佳化。

史鸣飞

　　英特尔亚太研发有限公司大资料软体部工程师，专注于大资料领域，现在主要投身于Tachyon项目的开发。

黄洁

　　目前就职于英特尔亚太研发中心大资料技术中心，担任高级软体工程师，是Apache Chukwa专案的PMC成员和Committer。

前言
Chapter 01   Spark 系统概述
1.1 大数据处理架构
1.2 Spark 大数据处理架构
1.2.1 RDD 表达能力
1.2.2 Spark 子系统
1.3 小结

Chapter 02   Spark RDD 及程式设计介面
2.1 Spark 程式"Hello World"
2.2 Spark RDD
2.3 建立操作
2.3.1 集合建立操作
2.3.2 储存建立操作
2.4 转换操作
2.4.1 RDD 基本转换操作
2.4.2 键值RDD 转换操作
2.4.3 再论RDD 相依关系
2.5 控制操作（control operation）
2.6 行动操作（action operation）
2.6.1 集合纯量行动操作
2.6.2 储存行动操作
2.7 小结

Chapter 03   Spark 执行模式及原理
3.1 Spark 执行模式概述
3.1.1 Spark 执行模式清单
3.1.2 Spark 基本工作流程
3.1.3 相关基本类别
3.2 Local 模式
3.2.1 部署及程式执行
3.2.2 内部实现原理
3.3 Standalone 模式
3.3.1 部署及程式执行
3.3.2 内部实现原理
3.4 Local cluster 模式
3.4.1 部署及程式执行
3.4.2 内部实现原理
3.5 Mesos 模式
3.5.1 部署及程式执行
3.5.2 内部实现原理
3.6 YARN standalone / YARN cluster 模式
3.6.1 部署及程式执行
3.6.2 内部实现原理
3.7 YARN client 模式
3.7.1 部署及程式执行
3.7.2 内部实现原理
3.8 各种模式的实现细节比较
3.8.1 环境变数的传递
3.8.2 JAR 套件和各种依赖档案的分发
3.8.3 工作管理和序列化
3.8.4 使用者参数设定
3.8.5 使用者及许可权控制
3.9 Spark 1.0 版本之后的变化
3.10 小结

Chapter 04   Spark 排程管理原理
4.1 Spark 作业排程管理概述
4.2 Spark 排程相关基本概念
4.3 作业排程模组顶层逻辑概述
4.4 作业排程实际工作流程
4.4.1 排程阶段的拆分
4.4.2 排程阶段的传送
4.4.3 工作集的传送
4.4.4 完成状态的监控
4.4.5 工作结果的取得
4.5 工作集管理模组详解
4.6 排程池和排程模式分析
4.7 其他排程相关内容
4.7.1 Spark 应用之间的排程关系
4.7.2 排程过程中的资料本机性问题
4.8 小结

Chapter 05   Spark 的储存管理
5.1 储存管理模组整体架构
5.1.1 通讯层架构
5.1.2 通讯层讯息传递
5.1.3 註册储存管理模组
5.1.4 储存层架构
5.1.5 资料区块(Block)
5.2 RDD 持久化
5.2.1 RDD 分区和资料区块的关系
5.2.2 记忆体快取
5.2.3 磁碟快取
5.2.4 持久化选项
5.2.5 如何选择不同的持久化选项5.4 车标搜索
5.3 Shuffle 资料持久化
5.4 广播（Broadcast）变数持久化
5.5 小结

Chapter 06   Spark 监控管理
6.1 UI 管理
6.1.1 即时UI 管理
6.1.2 历史UI 管理
6.2 Metrics 管理
6.2.1 Metrics 系统架构
6.2.2 Metrics 系统组态
6.2.3 输入来源（Metrics Source）介绍
6.2.4 输出方式（Metrics Sink）介绍
6.3 小结

Chapter 07   Shark 架构与安装设定
7.1 Shark 架构浅析
7.2 Hive/Shark 各功能元件比较
7.2.1 MetaStore
7.2.2 CLI/ Beeline
7.2.3 JDBC/ODBC
7.2.4 Hive Server/2 与Shark Server/2
7.2.5 Driver
7.2.6 SQL Parser
7.2.7 查询最佳化工具（Query Optimizer）
7.2.8 实体计画与执行
7.3 Shark 安装设定与使用
7.3.1 安装前准备工作
7.3.2 在不同执行模式下安装Shark
7.4 Shark SQL 命令列工具（CLI）
7.5 使用Shark Shell 指令
7.6 启动SharkServer
7.7 Shark Server2 设定与启动
7.8 快取资料表
7.8.1 资料快取等级
7.8.2 建立不同快取等级的Shark 资料表
7.8.3 指定资料表快取策略
7.8.4 使用Tachyon
7.9 常见问题分析
7.9.1 OutOfMemory 异常
7.9.2 资料处理传输量低
7.9.3 Shark 查询比Hive 慢
7.10 小结

Chapter 08   SQL 程式扩充
8.1 程式扩充平行执行模式
8.2 Evaluator 和ObjectInspector
8.3 自订函数扩充
8.3.1 自订函数扩充分类
8.3.2 CLI 中的使用者自订函数扩充相关指令
8.3.3 使用者自订函数（UDF）
8.3.4 通用使用者自订函数（Generic UDF）
8.3.5 使用者自订汇总函数（UDAF）
8.3.6 通用使用者自订汇总函数（Generic UDAF）
8.3.7 通用使用者自订表函数（Generic UDTF）
8.4 自订资料存取格式
8.4.1 SerDe
8.4.2 StorageHandler
8.5 小结

Chapter 09   Spark SQL
9.1 Spark SQL 逻辑架构
9.1.1 Catalyst 功能边界
9.1.2 SQL 解析阶段
9.1.3 逻辑计画中继资料绑定和语义分析阶段
9.1.4 逻辑计画最佳化阶段
9.1.5 实体计画产生阶段
9.1.6 Shark 和Spark SQL 比较
9.2 Catalyst 上下文（Context）
9.2.1 SQLContext
9.2.2 HiveContext
9.3 SQL DSL API
9.3.1 资料来源管理
9.3.2 SchemaRDD
9.3.3 Row API
9.3.4 资料类型
9.3.5 DSL API 举例
9.3.6 运算式计算
9.3.7 Parquet 列式储存档案
9.3.8 程式示范
9.4 Java API
9.5 Python API
9.6 Spark SQL CLI
9.7 Thrift 服务
9.8 小结

Chapter10   Spark Streaming 串流资料处理架构
10.1 快速入门
10.2 Spark Streaming 基本概念
10.2.1 连结和初始化
10.2.2 时间和视窗概念
10.2.3 DStream 原理
10.2.4 DStream 输入来源
10.2.5 DStream 操作
10.2.6 DStream 持久化
10.3 效能最佳化
10.3.1 执行时间最佳化
10.3.2 记忆体使用最佳化
10.4 容错处理
10.4.1 工作节点故障
10.4.2 驱动节点故障
10.5 DStream 作业的产生和排程
10.5.1 作业产生
10.5.2 作业排程
10.5.3 Streaming 作业与Spark 作业之间的关系
10.6 DStream 与RDD 关系
10.7 资料接收原理
10.8 自订资料登录源
10.9 自订监控介面（StreamingListener）
10.10 Spark Streaming 案例分析
10.11 小结

Chapter 11   GraphX 计算架构
11.1 图型平行计算
11.1.1 资料平行与图型平行计算
11.1.2 图型平行计算架构简介
11.1.3 GraphX 简介
11.2 GraphX 模型设计
11.2.1 资料模型
11.2.2 图型计算介面
11.3 GraphX 模型实现
11.3.1 图的分散式储存
11.3.2 图操作执行策略
11.3.3 图操作执行最佳化
11.3.4 序列化和反序列化
11.3.5 GraphX 内建演算法函数库
11.4 GraphX 应用
11.4.1 Pregel 模型
11.4.2 N 维邻接关系计算
11.5 小结

Chapter 12   Tachyon 储存系统
12.1 设计原理
12.1.1 高效的记忆体读写
12.1.2 无备份的可用性实现——Lineage
12.2 架构设计
12.2.1 主节点
12.2.2 工作节点
12.2.3 用户端
12.2.4 读写入工作流程
12.3 Tachyon 的部署
12.3.1 单机部署
12.3.2 分散式部署
12.3.3 Tachyon 的设定
12.4 Tachyon 应用
12.4.1 Shark 原始表（RawTable）
12.4.2 Spark 的堆积外RDD
12.4.3 Tachyon 使用者介面（API）
12.5 相关专案讨论
12.6 小结

None