大数据大时代：新一代储存技术及实作 pdf epub mobi txt 电子书 下载 2025

简体网页||繁体网页

☆☆☆☆☆

图书标签:

• 大数据
• 数据存储
• 存储技术
• 新一代存储
• 实作
• 技术
• 计算机
• 信息技术
• 数字化
• 实践

本书试图以时间轴的方式描述自20 世纪50 年代IBM 的第一个硬碟出现以来，整个储存工业及技术的演进。全书内容除基本技术的描述外，重点放在资料中心在云端计算及大数据环境下储存新技术出现的背、新技术架构、原理及实现，以及具体的储存解决方案及实际运维管理中。

　　本书共分为四篇：

　　第一篇　企业储存概述。透过回顾储存工业60年的演进历史，让读者理解储存演进的原始诉求。

　　第二篇　云端储存。系统地介绍了云端运算环境的典型分散式储存系统要解决的问题以及其技术架构。

　　第三篇　资料库。本章以企业到云端化演进为出发点，探索资料库从垂直扩充架构向分佈扩充架构的需求变化以及其后对储存产生的影响。

　　第四篇　大数据。主要介绍大数据储存的挑战及应对技术、产品。

　　适用：资讯管理技术人员、IT 经理人等专业人士；为技术专家、电脑资讯相关科系学生，以及更多愿意了解和投入到储存浪潮中的人。
 

智识的疆域：数据洪流中的认知导航 一本探寻人类心智与信息爆炸时代生存法则的深刻著作 在这个信息以指数级速度膨胀的时代，我们比以往任何时候都拥有更强大的工具去记录、分析和理解世界。然而，信息的泛滥是否真的等同于智慧的增长？我们如何驾驭这股无休止的数据洪流，不被其淹没，反而能从中提炼出真正的洞察和价值？《智识的疆域：数据洪流中的认知导航》正是对这些核心问题的深刻反思与系统性探讨。 本书并非关注技术硬件的革新，如芯片速度或存储介质的演进，而是将焦点完全转向人类大脑——我们获取、处理、存储和遗忘信息的“生物硬盘”的运作机制，以及在数字文明的冲击下，这种机制面临的挑战与演变。 第一部分：心智的古老架构与数字化的冲击 人类的认知系统是在低信息密度环境中进化而来的，其设计初衷是为了应对生存的直接需求：识别威胁、寻找资源、建立部落联系。这种基于稀缺性设计的“带宽”在面对海量、持续、多模态的数字输入时，开始显现出其局限性。 1. 认知的带宽限制与“注意力赤字”： 我们将深入剖析心理学中关于工作记忆（Working Memory）的容量限制。在传统阅读和思考中，信息处理是线性的、有深度的。数字界面，特别是社交媒体和碎片化内容推送，通过不断的中断和超载，将我们的注意力从深度加工推向浅层扫描。本书将详尽描绘这种“持续性部分注意力”（Continuous Partial Attention）如何重塑我们的思维模式，从“精炼”走向“分散”。我们探讨了这种认知负荷如何直接影响批判性思维的形成，以及对复杂因果链条的把握能力。 2. 记忆的重构与外部化： 历史上，记忆一直是知识积累的核心。从口头传统到书籍，人类一直在外部存储媒介上“委托”部分记忆。然而，搜索引擎和智能设备的普及，使得“记住信息”的重要性被“知道如何找到信息”所取代。本书探究了这种“谷歌效应”（Google Effect）对内隐记忆和情景记忆的影响。当知识的检索变得即时且无摩擦时，大脑是否会降低对信息的编码强度？我们考察了记忆的内化过程如何被外部工具所替代，以及这对于真正的学习和创造力的长远影响。 3. 信息过载下的决策疲劳： 在一个充斥着新闻推送、产品选择和观点对立的世界里，日常的决策数量呈爆炸性增长。本书引入决策科学的理论，解释“选择悖论”（Paradox of Choice）如何从经济学领域渗透到认知领域。当每一个微小的选择都需要消耗认知资源时，我们的大脑会倾向于采用启发式捷径（Heuristics）——这大大增加了认知偏见（Cognitive Biases）被激活的频率。我们如何识别并应对那些由信息量催生出的非理性倾向？ 第二部分：导航信息迷宫的艺术 认识到心智的限制后，本书的重点转向如何主动管理我们的信息生态，将外部信息转化为内在的智慧。这是一种主动选择、过滤和构建的艺术。 4. 深度阅读与“心流”的再发现： 面对屏幕阅读的固有挑战，本书提供了一套恢复深度阅读能力的实践方法。这不是关于放弃数字工具，而是关于如何为特定任务创造“认知隔离区”。我们详细介绍了如何通过环境设置、时间区块规划和阅读策略（如主动提问和摘要构建）来诱导心流体验，从而实现对复杂文本的有效吸收和内化。我们强调了“慢信息”（Slow Information）消费的重要性，以及它如何对抗“即时满足”的数字陷阱。 5. 知识的构建与连接——而非仅仅是收集： 大数据时代的陷阱之一是“收藏家心态”——积累了海量的文章、链接和笔记，却缺乏一个有意义的结构来容纳它们。本书借鉴了知识管理领域的先进理念，提出了“知识图谱构建法”。我们探讨了如何使用概念映射、主题聚类和跨领域联想来打破信息的孤岛，将分散的数据点编织成具有解释力的网络。重点在于从“知识拥有者”转变为“知识连接者”。 6. 批判性过滤与信息源的信任危机： 在“后真相”时代，辨别信息质量比获取信息更具挑战性。本书提供了一个多维度的评估框架，帮助读者超越简单的“事实核查”，深入探究信息背后的动机、方法论和利益链。我们分析了算法偏见（Algorithmic Bias）如何影响我们看到的内容，并提供策略来主动寻找“异质信息”（Heterogeneous Information），以避免陷入回音室效应。 第三部分：构建一个更具韧性的心智未来 展望未来，技术进步不可逆转。我们的目标不是退回到前数字时代，而是学会与这些工具共生，建立一个更具认知韧性的个体。 7. 数字化排毒与认知恢复： 为了维持心智的健康，“断开连接”已成为一种必要的维护活动。本书将“数字排毒”提升到认知恢复的高度，探讨了无聊、独处和与自然环境的接触如何重新校准我们的大脑化学物质，增强前额叶皮层的执行功能。我们提供了循证的建议，用以设计个人的“认知保护区”。 8. 培育“元认知”能力： 应对复杂性最终归结于对自身思维过程的洞察——即元认知（Metacognition）。本书强调了反思性实践（Reflective Practice）的重要性。通过定期的自我提问——“我为什么相信这个？”、“我的思考过程有哪些盲点？”——我们可以从信息处理的自动化模式中抽离出来，进行更高层次的自我修正。这种能力是区分信息消费者与知识创造者的关键分水岭。 《智识的疆域》是一次对当代人最宝贵资源——心智本身——的投资指南。它不提供代码或硬件手册，而是提供一把钥匙，帮助读者在信息的海洋中，不仅找到航向，更能驾驭风暴，抵达真正有意义的彼岸。它呼吁我们重新夺回对自身注意力的主权，将无序的输入转化为清晰的洞察。 --- （总字数约为1550字）

作者简介

查伟

　　查伟 华为储存首席架构师，负责储存产品线整体技术规划、软硬体架构建设。主导储存下一代软体平台XVE的架构设计工作，让产品线完成从低阶到高阶SAN的完整佈局，同时支撑大数据储存、备份储存的架构设计。

前言

01 企业储存概述
第1 章 储存工业演进历史
1.1 高阶储存系统的演进
1.2 中阶储存兴起
1.3 SAN 外接储存阵列
1.4 NAS 外接储存阵列 .
1.5 区块、档案统一储存系统
1.6 全Flash 外接储存阵列
1.7 Server SAN 融合储存

第2 章 储存产品架构演进趋势
2.1 高阶储存架构演进
2.2 中阶储存架构演进

第3 章 企业储存产品架构及关键技术要素简介
3.1 储存软体技术的发展与演进
3.2 高阶储存产品架构及关键技术要素简介
3.3 中阶储存产品硬体及软体架构分析
3.4 全Flash 架构分析
3.5 企业储存关键技术及特性
3.6 案例：OceanStor V3 融合储存

02 云端储存
第4 章 云端平台及OpenStack 开放原始码架构提供的储存服务纵览
4.1 云端平台的储存介绍
4.2 云端平台的储存分类 .
4.3 云端平台的储存标准
4.4 OpenStack 开放原始码领域的云端平台全景
4.5 本章小结

第5 章 分散式区块储存服务
5.1 分散式区块储存介绍
5.2 分散式区块储存功能和特点
5.3 业界分散式区块储存技术
5.4 本章小结

第6 章 分散式物件储存服务
6.1 分散式物件储存介绍
6.2 分散式物件储存功能和特点
6.3 业界分散式物件储存技术
6.4 本章小结

第7 章 分散式伫列服务
7.1 分散式伫列介绍
7.2 分散式伫列功能和特点
7.3 业界分散式伫列功能和特点
7.4 本章小结

第8 章 分散式储存系统的可用性
8.1 分散式储存系统可用性介绍
8.2 分散式储存系统可用性关键技术
8.3 开放原始码实现分析
8.4 本章小结

第9 章 分散式储存系统的管理及运行维护
9.1 分散式储存系统管理运行维护介绍
9.2 分散式储存对管理的挑战
9.3 分散式储存的管理
9.4 分散式储存的维护
9.5 本章小结

第10 章 针对云端平台的储存安全架构系统
10.1 针对云端平台的储存安全风险分析
10.2 储存系统安全解决方案设计原则
10.3 储存系统安全解决方案架构
10.4 储存安全解决方案描述
10.5 本章小结

第11 章 云端平台架构下的企业储存实作
11.1 华为看SDS
11.2 SDS 与华为OceanStor DJ
11.3 OceanStor DJ
11.4 本章小结

第12 章 案例
12.1 银行资料中心：支撑业务快速上线
12.2 公安厅警务云：提供自动化储存服务
12.3 智慧城市时空云端平台：提供便捷资料服务

03 资料库
第13 章 资料库储存技术的演进
13.1 资料库系统概述
13.2 资料库储存技术的发展
13.3 资料库储存的主要形态
13.4 资料库储存的关键技术
13.5 资料库储存的备份灾难恢复
13.6 储存媒体对未来资料库储存的影响
13.7 本章小结

第14 章 传统资料库系统架构
14.1 传统资料库技术和架构的发展演进
14.2 OLTP 资料库技术及架构
14.3 OLAP 资料库技术及架构
14.4 MPP DB 资料库技术及架构
14.5 传统资料库业务发展趋势
14.6 本章小结

第15 章 资料库和储存的融合技术与实作
15.1 资料库和储存融合技术概述
15.2 资料库和储存融合技术的发展
15.3 资料库和储存融合的主要途径
15.4 资料库和储存融合技术的实作
15.5 资料库和储存融合技术的发展趋势
15.6 本章小结

第16 章 新兴资料库技术与实作
16.1 新兴资料库技术和架构发展演进
16.2 NoSQL 资料库技术及架构
16.3 NewSQL 资料库技术及架构
16.4 记忆体中资料库技术及架构
16.5 分散式资料库技术发展趋势
16.6 本章小结

第17 章 案例
17.1 案例一：双活场景下与资料库的案例
17.2 案例二：中型规模OLAP 类型Oracle 资料库案例
04 大数据

第18 章 大数据的前世今生
18.1 大数据概念的由来
18.2 什么是大数据
18.3 我们能用大数据来做什么
18.4 大数据生态系统及其发展趋势
18.5 本章小结

第19 章 大数据对储存系统的挑战
19.1 大容量(Volume) 的挑战
19.2 资料多样化(Variety) 的挑战
19.3 效能(Velocity) 问题的挑战
19.4 本章小结

第20 章 大数据储存技术实作
20.1 资料库领域
20.2 Apache Hadoop 的储存元件
20.3 以记忆体为基础的大数据元件
20.4 商用Hadoop 版本的独特贡献
20.5 资料湖泊
20.6 本章小结

第21 章 最佳应用实作案例
21.1 招商银行利用大数据进行业务创新
21.2 交通管理领域大数据研判系统
21.3 电信业者运用大数据最佳化业务

前言

　　站在2016 年年初的时间节点，我们明显感觉到了储存企业正在发生着一场深刻而又影响广泛的革命。这场革命的起因来自多个方面，其中企业IT 部门越来越多地开始计画甚至已经部署的云端运算以及随着成本的快速下降而快速普及的Flash 储存是推动储存变革的两个最重要推手。

　　储存企业各方面的重大事件及各大谘询机构发佈的预测资讯也向这个企业的业内人士及使用者展示了这场革命已经到来，我们有必要为这场革命做出充分而又周全的准备及部署：① 从巨头们的公司动态看，2015 年10 月DELL 与EMC 670 亿美金的收购事件无疑是存储企业历史上最大的事件之一，企业巨头已经明显感觉到了云端运算的极大冲击而採取了抱团取暖、以云端供应商及服务商的姿态面对市场与客户；② 从业内权威谘询机构的预测看，Wikibon、Gartner、IDC 都在其后五年预测中定义了诸如Converge Storage、HyperConvergeStorage 类别的新形态，并预测这种新形态的增长将远高于传统的外接储存产品，这是前几年在技术上热炒的SDS 概念在企业IT 的正式落地的预兆；③ 从近两年各储存巨头推出的产品形态看，全Flash 储存、超融合储存、SDS，乃至直接针对第三平台环境下的储存是主要特征，这类别储存形态会更强化向上透过软体定义提升在云端运算环境下的灵活性、弹性与迅速部署、迅速上线，以及向下构筑更为高效的Flash 媒体人性化与最佳化的储存层。

　　因此，我们一直有个想法，透过一本书的形式，向我们的读者详细地解析整个储存企业的演进脉络。站在今天的节点上看，它是从哪里来的，原来是为解决什么问题而生的，现在又发生了哪些变化，储存系统需要做出什么样的变化来应对这些变化，在偏重技术的同时，理清这些技术、产品要解决的储存问题，理清技术随着业务诉求变化而变化的脉络。

　　本书共分为四篇，实际如下所示。

　　第一篇 企业储存概述。在本篇，透过回顾储存工业60 年的演进历史，尤其是自20 世纪90 年代起开始的近代外接储存阵列的历史，我们试图站在今天的历史节点上给读者呈现一幅较生动的储存工业的演进画面，让读者较为清晰地理清储存演进的原始诉求，透过怎样的技术架构及产品解决这些诉求，进而推动工业的发展；透过历史的分析，为读者了解及思考后面在新媒体及云端环境下储存工业的进一步研究打下基础。

　　第二篇 云端储存。随着IT 技术的发展， 特别是以Amazon、Microsoft、Google 为代表的互网公有云端应用，让使用者可以像使用水、电、瓦斯等基础设施那样的方式使用IT 技术，相当大地简化客户安装、部署、运行维护等工作，让客户的IT 应用可以快速、敏捷地提供服务，本篇较为系统地介绍了云端运算环境的典型分散式储存系统要解决的问题以及其技术架构。

　　第三篇 资料库。本章以企业到云端化演进为出发点，探索资料库从垂直扩充架构向分佈扩充架构的需求变化以及其后对储存产生的影响。

　　第四篇 大数据。应用集中上云端，带来资料进一步集中，这为产品产生智慧的资料以及人决策打下了基础，网际网路的大数据分析就此产生；大数据的核心是资料的高效、批次处理，这需要高效的储存系统的支撑，而传统储存基本是为结构化资料而生的，即使是像NAS 这样针对非结构化储存，也是为人与人之间的交换和共用而生的，本篇将主要介绍大数据储存的挑战及应对技术、产品。

　　感谢成书过程中各主要成员全力以赴，感谢华为储存与我们共事多年的兄弟姐妹，我们患难与共，一起实现共同的梦想。感谢清华大学出版社在本书撰写过程中提出的宝贵意见。

　　由于部分技术有关商业机密，加上笔者水准有限、时间紧迫，所以书中难免存在谬误，技术点有关的细节可能描述得还不够详尽，恳请读者批评指正，可将任何意见和建议发送到oceanstor@huawei.com。
 

评分☆☆☆☆☆

这本书简直把我带入了一个全新的世界！我一直对科技发展充满好奇，但大数据和储存技术听起来总有些遥不可及。没想到，《大数据大时代：新一代储存技术及实作》这本书用一种非常生动且易于理解的方式，将那些曾经让我望而却步的概念一一拆解。作者并没有上来就抛出一堆技术术语，而是从大数据在我们生活中的各个角落开始讲起，比如社交媒体上的个性化推荐、智能家居的运作，甚至是城市交通的优化，这些贴近生活的例子立刻拉近了我与书本的距离。 更令我惊喜的是，书中关于“新一代储存技术”的部分，它并没有仅仅停留在理论层面，而是深入到实际的应用。我读到了关于固态硬盘（SSD）如何颠覆传统机械硬盘的种种细节，以及它们在速度、耐用性上的巨大飞跃。书中还探讨了云储存的未来发展趋势，比如对象储存、分布式储存等，这些技术是如何支撑起如今海量数据的存储和高效访问的，让我对“云”有了更深刻的认识。它不仅仅是告诉你“是什么”，更重要的是“为什么”和“怎么做”，这种深入浅出的讲解方式，让我觉得学习技术不再是一件枯燥乏味的事情，反而充满了探索的乐趣。读完之后，我感觉自己对身边的科技应用有了更敏锐的洞察力，看问题的角度也变得更加开阔。

评分☆☆☆☆☆

我一直认为，理解一项技术，尤其是像大数据这样庞大且复杂的概念，关键在于能否将其与实际应用场景紧密结合。这本《大数据大时代：新一代储存技术及实作》在这方面做得非常出色。它不仅仅是堆砌了各种技术名词，而是通过大量的案例分析，向我们展示了大数据是如何驱动各行各业的变革的。我特别喜欢书中关于金融风控、医疗健康、智慧城市等领域的案例，这些案例真实而具体，让我能够清晰地看到大数据分析是如何帮助企业降低风险、提升效率，甚至挽救生命的。 书中关于“实作”的部分更是点睛之笔。它并没有回避技术实现的复杂性，而是提供了一些相对易于上手的实践指导。虽然我不是专业的技术人员，但通过书中对一些常见大数据处理框架的介绍，例如Hadoop和Spark，我能够大致了解它们的工作原理和应用场景。书中对于不同储存技术的优缺点分析，也让我对如何选择合适的储存方案有了更清晰的认识。它不是一本纯粹的理论书，也不是一本纯粹的操作手册，而是巧妙地将理论与实践相结合，为读者提供了一个全面了解大数据储存技术生态的窗口。读这本书，我感觉自己就像是在一个大型的科技实验室里进行一场探索之旅，收获颇丰。

评分☆☆☆☆☆

在阅读《大数据大时代：新一代储存技术及实作》之前，我总觉得“大数据”就是一个模糊的概念，与我的生活相去甚远。然而，这本书彻底改变了我的看法。它用一种非常接地气的方式，揭示了大数据是如何渗透到我们生活的方方面面的。书中关于推荐算法的讲解，让我明白了为什么我的购物平台总能猜到我的喜好，为什么我的音乐App总能推荐我喜欢的歌曲。这让我意识到，我们每个人都在不知不觉中，成为了大数据时代的参与者。 而“新一代储存技术”的部分，更是让我对科技的进步有了直观的感受。书中对闪存技术、磁带储存、以及新兴的DNA储存等前沿技术的介绍，让我惊叹于人类在储存海量信息方面的能力。它不仅描述了这些技术的原理，更重要的是，它探讨了这些技术是如何影响我们获取、处理和利用信息的效率的。我印象深刻的是书中关于数据安全和隐私保护的讨论，这让我意识到，在大数据爆炸式增长的背后，也伴随着新的挑战。这本书让我不再对大数据和储存技术感到陌生，反而觉得它们既神秘又充满活力，是推动社会进步的重要力量。

评分☆☆☆☆☆

这本书最吸引我的地方在于，它并没有停留在对“大数据”的宏观描绘，而是将笔触深入到技术实现的具体层面，特别是“储存”。我一直觉得，想要理解一个庞大的概念，就必须从其最基础的构成部分入手，而储存就是大数据运行的根基。书中关于新一代储存技术的讲解，让我大开眼界。我了解到，不仅仅是SSD在不断进步，还有许多前沿技术正在悄然改变着我们储存信息的方式，比如容量更大、速度更快、功耗更低的各种新型内存技术，以及那些旨在解决长期数据保存难题的解决方案。 更重要的是，书中并没有止步于技术的介绍，而是将这些技术与大数据应用场景进行了紧密的结合。它让我们看到，为什么高性能的储存对于实时数据分析至关重要，为什么高密度储存对于成本控制不可或缺，以及为什么可靠的储存对于数据安全和灾难恢复至关重要。书中对不同储存方案的优缺点、适用场景的分析，都显得非常专业且富有洞察力。读完这本书，我感觉自己对大数据技术生态有了更全面的认识，不再是那个只知道“大数据”名字的旁观者，而是能够更深入地理解其背后技术支撑的“门道”。

评分☆☆☆☆☆

这本书的视角非常独特，它没有将大数据和储存技术割裂开来，而是将它们视为一个相互依存、共同发展的整体。我尤其欣赏书中对“储存”这一核心环节的重视。在许多关于大数据的讨论中，人们往往更关注数据的分析和应用，而忽略了数据的“家”。但这本书则花费了大量的篇幅，深入浅出地介绍了各种新一代储存技术，从我们熟知的SSD，到那些听起来更具科幻色彩的非易失性内存、以及未来的光存储和量子存储。 作者在介绍这些技术时，并非简单地罗列参数，而是着重于它们如何解决大数据带来的“存储瓶颈”问题，以及如何提升数据的可访问性和持久性。比如，书中对不同储存介质在读写速度、容量、功耗、成本等方面的对比分析，就非常有实践指导意义。它让我明白，选择哪种储存技术，并非仅仅是技术选择，更关乎成本效益和应用场景的匹配度。总而言之，这本书为我打开了一扇新的大门，让我认识到，在喧嚣的大数据时代，稳固可靠的储存技术才是基石。