Hadoop構建數據倉庫實踐 (電子書) pdf epub mobi txt 电子书下载 2025

☆☆☆☆☆

王雪迎著

图书标签:

Hadoop
数据仓库
大数据
实践
电子书
数据分析
存储
云计算
Hive
Spark

下载链接在页面底部

具体描述

似乎所有人嘴邊都掛著「大數據」這個詞，圍繞大數據這個主題開展的討論幾乎已經完全壓倒傳統資料倉儲的風頭，某些大數據狂熱者甚至大膽預測，在不久的將來，所有企業數據都將由一個基於Apache Hadoop的系統託管，企業資料倉儲（EDW）終將消亡。無論如何，傳統資料倉儲架構仍在不斷發展演化，這一點不容置疑。然而，儘管所有人都在討論某種技術或者架構可能會勝過另一種技術或架構，IBM卻有著不同的觀點。在IBM，他們更傾向於從「Hadoop與資料倉儲密切結合」這個角度來探討問題。
試想一下，對於採用傳統資料倉儲的企業而言，大數據帶來的機會就是能夠利用過去無法通過傳統倉庫架構利用的數據，但傳統資料倉儲為什?不能承擔起這個責任？資料倉儲的傳統架構方式採用業務系統中的結構化數據，用它們來分析有關業務的方方面面，對這些數據進行清理、建模、分布、治理和維護，以便執行歷史分析。無論是從結構方面考慮，還是從數據攝取速率方面考慮，我們在資料倉儲中存儲的數據都是可預測的。相比之下，大數據是不可預測的。大數據的結構多種多樣，對於EDW來說數量過於龐大。尤其要考慮的是，我們更習慣於瀏覽大量數據來查找真正需要的訊息。不久之後可能又會決定丟棄這些數據，在某些情況下，這些數據的保存期限可能會更短。如果我們決定保留所有這些數據，則需要使用比EDW更經濟的解決方案來存儲非結構化數據，以便將來使用這些數據進行歷史分析，這也是將Hadoop與資料倉儲結合使用的另一個論據。
本書通過簡單而完整的示例，論述在Hadoop平臺上設計和實現資料倉儲的方法。將傳統資料倉儲建模與SQL開發的簡單性與大數據技術相結合，快速、高效地建立可擴展的資料倉儲及其應用系統。
本書共十三章，主要內容包括資料倉儲、Hadoop及其生態圈的相關概念，使用Sqoop從關係數據庫全量或增量抽取數據，使用Hive進行數據轉換和裝載處理，使用Oozie調度作業週期性執行，使用Impala進行快速聯機數據分析，使用Hue將數據視覺化，以及資料倉儲中的自封式部署（Scd）、關係鍵、角色扮演維度、層次維度、退化維度、無事實的事實表、遲到的事實、累積的度量等常見問題在Hadoop上的處理等。
本書適合數據庫管理員、大數據技術人員、Hadoop技術人員、資料倉儲技術人員，也適合高等院校和培訓學校相關專業的師生教學參考

数字化转型浪潮下的数据治理与分析实践在信息爆炸的时代，数据已成为驱动企业创新和决策的核心资产。如何有效管理海量数据，从中提炼出具有商业价值的洞察，是摆在所有企业面前的共同挑战。本书聚焦于构建现代化数据基础设施和深化数据应用的能力，旨在为读者提供一套全面、实战性强的数据治理与分析方法论。本书内容涵盖了从数据采集、存储、处理到最终可视化的完整生命周期，特别强调在复杂业务场景下，如何确保数据质量、保障数据安全，并构建起面向未来的分析平台。我们不局限于单一技术栈的介绍，而是深入探讨跨平台、异构数据源的集成策略，以及如何利用先进的分析技术加速业务创新。第一部分：数据基础设施的坚实基础本部分着眼于构建一个稳定、高效、可扩展的数据平台所必需的核心技术与理念。第一章：数据架构的演进与选型现代数据架构正经历从传统的ETL（抽取、转换、加载）到更灵活的ELT（抽取、加载、转换）的转变。本章首先梳理了数据仓库、数据湖（Data Lake）和数据湖仓一体（Data Lakehouse）的架构演进脉络，分析了各自的优劣势及适用场景。我们将重点讨论数据架构的选型原则，包括如何根据企业的业务规模、数据类型多样性（结构化、半结构化、非结构化）以及性能需求进行权衡。讨论的重点将是云原生架构的兴起对传统架构带来的冲击，以及如何设计一个既能满足批处理高吞吐量，又能支持实时流式分析的混合架构。此外，我们将深入探讨数据治理体系如何融入到架构设计之初，确保可追溯性和合规性。第二章：高效数据存储与管理数据的存储效率和查询性能是衡量数据平台能力的关键指标。本章详细解析了当前主流的分布式存储技术，如对象存储（如S3兼容存储）的特性与应用，以及面向分析型工作负载的列式存储格式（如Parquet、ORC）的内部机制。针对大规模数据集，数据分区（Partitioning）和分桶（Bucketing）策略至关重要。我们将通过实例展示如何根据查询模式设计最优的分区键，以最小化扫描数据量，显著提升查询效率。同时，涉及数据生命周期管理（DLM）的策略，如冷热数据分离、归档机制，帮助企业优化存储成本。第三章：批处理与流式处理的融合数据处理是数据平台的核心功能。本章将对比分析当前主流的批处理框架，并着重介绍其在复杂数据转换任务中的应用。然而，随着业务对实时性要求的提高，流处理技术成为新的焦点。我们将深入探讨实时数据摄取管道（Ingestion Pipeline）的设计，包括消息队列（如Kafka）在解耦系统、削峰填谷中的关键作用。随后，我们将对比分析不同的流处理引擎，阐述它们在状态管理、容错机制以及事件时间（Event Time）与处理时间（Processing Time）处理上的差异。最终目标是实现批流一体化的处理逻辑，确保离线和在线分析结果的一致性。第二部分：数据治理与质量保障体系没有高质量的数据，再先进的分析工具也无法提供可靠的洞察。本部分专注于建立和维护数据治理的框架和实践。第四章：构建端到端的数据治理框架数据治理不仅仅是技术问题，更是组织、流程和文化的问题。本章系统地介绍了数据治理的五大支柱：数据标准、数据质量、数据安全、元数据管理和数据血缘。我们将详细阐述如何建立数据资产目录（Data Catalog），使其成为企业数据的“中央大脑”，方便用户快速发现、理解和信任数据。数据血缘（Data Lineage）的追踪机制将通过具体的工具和方法进行讲解，确保业务人员能够清晰地追溯每一条数据来源和处理过程。第五章：数据质量的量化与提升数据质量管理需要从被动发现转变为主动预防。本章提供了数据质量的度量体系，包括准确性、完整性、一致性、时效性和有效性等关键维度。实战层面，我们将探讨如何在数据进入系统（Inbound）和离开系统（Outbound）的关键节点设置质量检查点。通过引入数据质量规则引擎，实现自动化验证和异常报警。对于历史遗留的脏数据，我们将介绍数据清洗和修复的最佳实践，并强调利用机器学习技术来识别潜在的数据质量问题。第六章：数据安全、隐私保护与合规性在数据敏感度日益提高的今天，数据安全和隐私保护是不可逾越的红线。本章聚焦于如何在数据生命周期的不同阶段实施精细化的安全控制。内容包括访问控制模型（RBAC/ABAC）的实施细节，数据加密技术（传输中和静止时）的选择与部署。特别关注数据脱敏（Data Masking）和匿名化技术，以满足GDPR、CCPA等全球及地方法规的要求。我们将讨论如何在不牺牲分析价值的前提下，最大限度地保护个人身份信息（PII）。第三部分：面向业务的分析与洞察加速数据平台的最终价值在于支撑业务决策。本部分关注如何将处理好的数据转化为可操作的商业智能（BI）和高级分析。第七章：构建高性能的分析查询层面对TB/PB级别的数据集，如何实现亚秒级的分析查询响应是挑战所在。本章将重点介绍基于内存计算、向量化执行和查询优化技术。我们将深入分析现代分析型数据库（如MPP架构数据库）的工作原理，包括其查询优化器如何生成高效的执行计划。此外，对于特定场景（如OLAP分析），预聚合（Pre-aggregation）和物化视图（Materialized Views）的策略被详细阐述，旨在减轻实时查询的压力，并提供一致的汇总数据视图。第八章：数据服务的API化与微服务部署数据不再是孤立的报表，而是需要被快速嵌入到前线业务应用中的实时服务。本章探讨了将数据分析能力服务化的方法，即构建数据API层。讨论内容包括如何使用API网关管理数据服务的访问和限流，以及如何设计低延迟的数据服务接口。我们将介绍容器化技术（如Docker/Kubernetes）在快速部署、弹性伸缩数据服务微服务中的应用，实现数据价值的即时交付。第九章：高级分析与机器学习的集成本章将数据平台的能力延伸到更深层次的预测和发现。重点讨论如何将数据仓库/数据湖中的特征（Features）高效地供给给机器学习模型。我们将介绍特征工程平台（Feature Store）的概念和必要性，它解决了训练环境和线上推理环境之间特征不一致的问题。同时，我们将探讨模型部署（MLOps）的基础流程，确保数据管道能够无缝衔接模型的训练、版本控制、部署和监控，实现从数据到智能决策的闭环管理。 --- 本书旨在提供一个全面的、面向未来的数据平台建设蓝图。读者在掌握各项关键技术的同时，更重要的是理解如何将这些技术有机地整合到企业的业务流程中，真正实现数据驱动的精益运营和战略规划。我们强调实践性，力求让每一章节的论述都建立在真实的企业应用场景之上，帮助读者规避陷阱，快速搭建起符合自身需求的下一代数据平台。

图书目录

版權訊息作者簡介內容簡介前言第1章 ?資料倉儲簡介? 　　1.1 什?是資料倉儲　　　1.1.1 資料倉儲的定義　　　1.1.2 建立資料倉儲的原因　　1.2 操作型系統與分析型系統　　　1.2.1 操作型系統　　　1.2.2 分析型系統　　　1.2.3 操作型系統和分析型系統對比　　1.3 資料倉儲架構　　　1.3.1 基本架構　　　1.3.2 主要資料倉儲架構　　　1.3.3 操作數據存儲　　1.4 抽取-轉換-裝載　　　1.4.1 數據抽取　　　1.4.2 數據轉換　　　1.4.3 數據裝載　　　1.4.4 開發ETL系統的方法　　　1.4.5 常見ETL工具　　1.5 資料倉儲需求　　　1.5.1 基本需求　　　1.5.2 數據需求　　1.6 小結第2章 ?資料倉儲設計基礎? 　　2.1 關係數據模型　　　2.1.1 關係數據模型中的結構　　　2.1.2 關係完整性　　　2.1.3 規範化　　　2.1.4 關係數據模型與資料倉儲　　2.2 維度數據模型　　　2.2.1 維度數據模型建模過程　　　2.2.2 維度規範化　　　2.2.3 維度數據模型的特點　　　2.2.4 星型模式　　　2.2.5 雪花模式　　2.3 Data Vault模型　　　2.3.1 Data Vault模型簡介　　　2.3.2 Data Vault模型的組成部分　　　2.3.3 Data Vault模型的特點　　　2.3.4 Data Vault模型的構建　　　2.3.5 Data Vault模型實例　　2.4 數據集市　　　2.4.1 數據集市的概念　　　2.4.2 數據集市與資料倉儲的區別　　　2.4.3 數據集市設計　　2.5 資料倉儲實施步驟　　2.6 小結第3章 ?Hadoop生態圈與資料倉儲? 　　3.1 大數據定義　　3.2 Hadoop簡介　　　3.2.1 Hadoop的構成　　　3.2.2 Hadoop的主要特點　　　3.2.3 Hadoop架構　　3.3 Hadoop基本組件　　　3.3.1 HDFS 　　　3.3.2 MapReduce 　　　3.3.3 YARN 　　3.4 Hadoop生態圈的其他組件　　3.5 Hadoop與資料倉儲　　　3.5.1 關係數據庫的可擴展性瓶頸　　　3.5.2 CAP理論　　　3.5.3 Hadoop資料倉儲工具　　3.6 小結第4章 ?安裝Hadoop? 　　4.1 Hadoop主要發行版本　　　4.1.1 Cloudera Distribution for Hadoop (cdH) 　　　4.1.2 Hortonworks Data Platform (HDP) 　　　4.1.3 MapR Hadoop 　　4.2 安裝Apache Hadoop 　　　4.2.1 安裝環境　　　4.2.2 安裝前準備　　　4.2.3 安裝配置Hadoop 　　　4.2.4 安裝後配置　　　4.2.5 初始化及運行　　4.3 配置HDFS Federation 　　4.4 離線安裝cdH及其所需的服務　　　4.4.1 cdH安裝概述　　　4.4.2 安裝環境　　　4.4.3 安裝配置　　　4.4.4 Cloudera Manager許可證管理　　4.5 小結第5章 ?Kettle與Hadoop? 　　5.1 Kettle概述　　5.2 Kettle連接Hadoop 　　　5.2.1 連接HDFS 　　　5.2.2 連接Hive 　　5.3 導出導入Hadoop集群數據　　　5.3.1 把數據從HDFS抽取到RDBMS 　　　5.3.2 向Hive表導入數據　　5.4 執行Hive的HiveQL語句　　5.5 MapReduce轉換示例　　5.6 Kettle提交Spark作業　　　5.6.1 安裝Spark 　　　5.6.2 配置Kettle向Spark集群提交作業　　5.7 小結第6章 ?建立資料倉儲示例模型? 　　6.1 業務場景　　6.2 Hive相關配置　　　6.2.1 選擇文件格式　　　6.2.2 支持行級更新　　　6.2.3 Hive事務支持的限制　　6.3 Hive表分類　　6.4 向Hive表裝載數據　　6.5 建立數據庫表　　6.6 裝載日期維度數據　　6.7 小結第7章 ?數據抽取? 　　7.1 邏輯數據映射　　7.2 數據抽取方式　　7.3 導出成文本文件　　7.4 分布式查詢　　7.5 使用Sqoop抽取數據　　　7.5.1 Sqoop簡介　　　7.5.2 cdH 5.7.0中的Sqoop 　　　7.5.3 使用Sqoop抽取數據　　　7.5.4 Sqoop優化　　7.6 小結第8章 ?數據轉換與裝載? 　　8.1 數據清洗　　8.2 Hive簡介　　　8.2.1 Hive的體系結構　　　8.2.2 Hive的工作流程　　　8.2.3 Hive服務器　　　8.2.4 Hive客戶端　　8. Hive CLI和Beeline使用上的主要差別　　8.3 初始裝載　　8.4 定期裝載　　8.5 Hive優化　　8.6 小結第9章 ?定期自動執行ETL作業? 　　9.1 crontab 　　9.2 Oozie簡介　　　9.2.1 Oozie的體系結構　　　9.2.2 cdH5.7.0中的Oozie 　　9.3 建立定期裝載工作流　　9.4 建立協調器作業定期自動執行工作流　　9.5 Oozie優化　　9.6 小結第10章 ?維度表技術? 　　10.1 增加列　　10.2 維度子集　　10.3 角色扮演維度　　10.4 層次維度　　　10.4.1 固定深度的層次　　　10.4.2 遞歸　　　10.4.3 多路徑層次　　　10.4.4 參差不齊的層次　　10.5 退化維度　　10.6 雜項維度　　10.7 維度合併　　10.8 分段維度　　10.9 小結第11章 ?事實表技術? 　　11.1 事實表概述　　11.2 週期快照　　11.3 累積快照　　11.4 無事實的事實表　　11.5 遲到的事實　　11.6 累積度量　　11.7 小結第12章 ?聯機分析處理? 　　12.1 聯機分析處理簡介　　　12.1.1 概念　　　12.1.2 分類　　　12.1.3 性能　　12.2 Impala簡介　　12.3 Hive、SparkSQL、Impala比較　　　12.3.1 Spark SQL簡介　　　12.3.2 Hive、Spark SQL、Impala比較　　　12.3.3 Hive、Spark SQL、Impala性能對比　　12.4 聯機分析處理實例　　12.5 Apache Kylin與OLAP 　　　12.5.1 Apache Kylin架構　　　12.5.2 Apache Kylin安裝　　12.6 小結第13章 ?數據視覺化? 　　13.1 數據視覺化簡介　　13.2 Hue簡介　　　13.2.1 Hue功能快速預覽　　　13.2.2 配置元數據存儲　　13.3 Zeppelin簡介　　　13.3.1 Zeppelin架構　　　13.3.2 Zeppelin安裝配置　　　13.3.3 在Zeppelin中添加MySQL翻譯器　　13.4 Hue、Zeppelin比較　　13.5 數據視覺化實例　　13.6 小結

图书序言