深入解析《企业级数据架构》：HDFS、Yarn、Hive、HBase与Spark的焦点应用 ...

写在前面

进入大数据阶段就意味着进入NoSQL阶段，更多的是面向OLAP场景，即数据仓库、BI应用等。
大数据技能的发展并不是偶尔的，它的背后是对于本钱的考量。会合式数据库大概基于MPP架构的分布数据库往往接纳的都是性能稳固但价格较为昂贵的小型机、一体机大概PC服务器等，扩展性相对较差；而大数据盘算框架可以基于价格低廉的平常的硬件服务器构建，并且理论上支持无穷扩展以支撑应用服务。
在大数据领域中最有名的就是 Hadoop 生态，总体来看，它紧张由三部分构成：底层文件存储体系 HDFS（Hadoop Distributed File System，Hadoop 分布式文件体系）、资源调度盘算框架 Yarn（Yet Another Resource Negotiator，又一个资源协调者）以及基于 HDFS 与 Yarn的上层应用组件，例如 HBase、Hive 等。一个典型的基于 Hadoop 的应用如下图所示。

⭐HDFS

HDFS 被设计成恰当运行在通用硬件（Commodity Hardware）上的分布式文件体系。它和现有的分布式文件体系有许多共同点，例如典型的 Master-Slave 架构（这里不准备睁开介绍），也有不同点，HDFS 是一个具有高度容错性的体系，恰当部署在便宜的呆板上。关于HDFS 这里紧张想说两点，默认副本数的设置以及机架感知（Rack Awareness）。
HDFS 默认副本数是 3，这是由于 Hadoop 有着高度的容错性，从数据冗余以及分布的角度来看，必要在同一机房不同机柜以及跨数据中心进行数据存储以保证数据最大可用。因此，为了达到上述目的，数据块必要至少存放在同一机房的不同机架（2 份）以及跨数据中心的某一机架（1 份）中，共 3 份数据。
机架感知的目的是在盘算中尽量让不同节点之间的通讯可以大概发生在同一个机架之 内，而不是跨机架，进而淘汰分布式盘算中数据在不同的网络之间的传输，淘汰网络带 宽资源的斲丧。例如当集群发生数据读取的时候，客户端按照由近到远的优先次序决定 哪个数据节点向客户端发送数据，由于在分布式框架中，网络 I/O 已经成为紧张的性能瓶颈。
只有深刻理解了这两点，才能理解为什么 Hadoop 有着高度的容错性。高度容错性是Hadoop 可以在通用硬件上运行的根本。
⭐Yarn

Yarn 是继 Common、HDFS、MapReduce 之 后 Hadoop 的又一个子项目， 它是在MapReduceV2 中提出的。
在 Hadoop1.0 中，JobTracker 由资源管理器（由 TaskScheduler 模块实现）和作业控制 （由 JobTracker 中多个模块共同实现）两部分组成。
在 Hadoop1.0 中，JobTracker 没有将资源管理相关功能与应用程序相关功能拆分开，逐 渐成为集群的瓶颈，进而导致集群出现可扩展性变差、资源利用率降落以及多框架支持不 足等多方面的题目。
在 MapReduceV2 中，Yarn 负责管理 MapReduce 中的资源（内存、CPU 等）并且将其 打包成 Container。如许可以使 MapReduce 专注于它善于的数据处置惩罚使命，而不必要考虑资源调度。这种松耦合的架构方式实现了 Hadoop 整体框架的灵活性。
⭐Hive

Hive 是基于Hadoop 的数据仓库根本构架，它利用简单的 SQL 语句（简称 HQL）来查询、分析存储在 HDFS 中的数据，并把 SQL 语句转换成 MapReduce 程序来进行数据的处置惩罚。Hive与传统的关系型数据库的紧张区别体现在以下几点。
1）存储的位置， Hive 的数据存储在 HDFS 大概 HBase 中，而后者的数据一般存储在裸装备大概本地的文件体系中，由于 Hive 是基于 HDFS 构建的，那么依靠 HDFS 的容错特性，Hive 中的数据表自然具有冗余的特点。
2）数据库更新， Hive 是不支持更新的，一般是一次写入多次读写（这部分从 Hive 0.14之后开始支持事务利用，但是约束比力多），但是由于 Hive 是基于 HDFS 作为底层存储的， 而 HDFS 的读写不支持事务特性，因此 Hive 的事务支持一定必要拆分数据文件以及日志文 件才能支持事务的特性。
3）执行 SQL 的耽误，Hive 的耽误相对较高，由于每次执行都必要将 SQL 语句解析成MapReduce 程序。
4）数据的规模上，Hive 一般是 TB 级别，而后者规模相对较小。
5）可扩展性上，Hive 支持 UDF、UDAF、UDTF，后者相对来说可扩展性较差。
⭐HBase

HBase（Hadoop Database）是一个高可靠性、高性能、面向列、可伸缩的分布式存储体系。它底层的文件体系利用 HDFS， 利用ZooKeeper 来管理集群的 HMaster 和各RegionServer 之间的通讯，监控各RegionServer 的状态，存储各 Region 的入口地址等。
1．特点
HBase 是 Key-Value 形式的数据库（类比 Java 中的 Map）。既然是数据库那肯定就有 表，HBase 中的表大概有以下几个特点。
1）大：一个表可以有上亿行，上百万列（列多时，插入变慢）。
2）面向列：面向列（族）的存储和权限控制，列（族）独立检索。
3）稀疏：对于空（null）的列，并不占用存储空间，因此，表可以设计得非常稀疏。
4）每个单元格中的数据可以有多个版本，默认环境下版本号自动分配，是单元格插入 时的时间戳。
5）HBase 中的数据都是字节，没有类型界说具体的数据对象（由于体系必要顺应不同 类型的数据格式和数据源，不能预先严酷界说模式）。
这里必要注意的是，HBase 也是基于 HDFS，所以也具有默认 3 个副本、数据冗余的特 点。此外 HBase 也是利用 WAL 的特点来保证数据读写的划一性。
2．存储
HBase 接纳列式存储方式进行数据的存储。传统的关系型数据库紧张是接纳行式存储 的方式进行数据的存储，数据读取的特点是按照行的粒度从磁盘上读取数据记录，然后根 据实际必要的字段数据进行处置惩罚，如果表的字段数量较多，但是必要处置惩罚的字段较少（特 别是聚合场景），由于行式存储的底层原理，仍然必要以行（全字段）的方式进行数据的查 询。在这个过程中，应用程序所产生的磁盘 I/O、内存要求以及网络 I/O 等都会造成肯定的 浪费；而列式存储的数据读取方式紧张是按照列的粒度进行数据的读取，这种按需读取的 方式淘汰了应用程序在数据查询时所产生的磁盘 I/O、内存要求以及网络 I/O。
此外，由于类似类型的数据被同一存储，因此在数据压缩的过程中压缩算法的选用以 及效率将会进一步增强，这也进一步降低了分布式盘算中对于资源的要求。
列式存储的方式更恰当 OLAP 型的应用场景，由于这类场景具有数据量较大以及查询字段较少（往往都是聚合类函数）的特点。例如近来比力火的 ClickHouse 也是利用列式存储的方式进行数据的存储。
⭐Spark及Spark Streaming

Spark 由 Twitter 公司开发并开源，办理了海量数据流式分析的题目。Spark 首先将数据 导入 Spark 集群，然后通过基于内存的管理方式对数据进行快速扫描，通过迭代算法实现 全局 I/O 利用的最小化，达到提升整体处置惩罚性能的目的。这与 Hadoop 从“盘算”找“数据” 的实现思路是类似的，通常适用于一次写入多次查询分析的场景。
Spark Streaming 是基于 Spark 的一个流式盘算框架，它针对实时数据进行处置惩罚和控制， 并可以将盘算之后的结果写入 HDFS。它与当下比力火的实时盘算框架 Flink 类似，但是二者在本质上是有区别的，由于 Spark Streaming 是基于微批量（Micro-Batch）的方式进行数据处置惩罚，而非一行一行地进行数据处置惩罚。
关于作者

李杨，资深数据架构师，在数据相关领域有10年以上工作履历。头部保险资管公司科技平台交易体系团队开发组负责人，负责多个应用以及数据平台的建设、优化以及迁移工作。曾担任某数据公司技能合资人，负责多个金融机构的数据仓库或数据平台相关的工作。《企业级数据架构：焦点要素、架构模型、数据管理与平台搭建》作者。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。