qidao123.com技术社区-IT企服评测·应用市场

标题: 【大数据复习】第8章 Hadoop架构再探讨（含设计题） [打印本页]

作者: tsx81429 时间: 2024-7-20 13:37
标题: 【大数据复习】第8章 Hadoop架构再探讨（含设计题）
一、概念

1.Hadoop1.0的核心组件（仅指MapReduce和HDFS，不包罗Hadoop生态系统内的Pig、Hive、HBase等其他组件），主要存在以下不敷：

（1）抽象层次低，需人工编码

（2）表达本领有限

（3）开发者自己管理作业（Job）之间的依赖关系

（4）难以看到程序整体逻辑

（4）实行迭代操纵服从低

（5）资源浪费（Map和Reduce分两阶段实行）

（6）实时性差（适合批处理惩罚，不支持实时交互式）

2.优化与发展体现在两个方面：

（1）Hadoop自身两大核心组件MapReduce和HDFS的架构设计改进

（2）Hadoop生态系统别的组件的不绝丰富，加入了Pig、Tez、Spark和Kafka等新组件

3.HDFS HA（High Availability，重点）

（1）为了解决1.0第二名称节点无法降服单点故障标题

（2）1.0那种日志啥的叫冷备份，2.0这个升级了叫热备份。

（3）热备份：

通俗讲就是搞俩节点，坏了用另一个。

HA集群设置两个名称节点，“活泼（Active）”和“待命（Standby）”，Zookeeper确保一个名称节点在对外服务，就是确保坏了没有。

4.HDFS Federation（联邦机制，重点）

解决了，不可以水平扩展，系统整体性能受限于单个名称节点的吞吐量，单个名称节点难以提供不同程序之间的隔离性等这些标题。

（1）设计了多个相互独立的名称节点。

（2）相互之间是联盟（Federation）关系，不必要相互和谐，而且向后兼容。

（3）所有名称节点会共享底层的数据节点存储资源。

二、资源管理调理框架YARN

1.YARN

（1）JobTracker“大包大揽”导致任务过重。

（2）YARN的目标就是实现“一个集群多个框架”.

（3）容器（Container）：是YARN的动态资源分配单位。每个容器中都封装了一定命量的CPU、内存、磁盘等资源，从而限定每个应用程序可以使用的资源量。

2.YARN对待JobTracker的拆分思路（熟记）

3.详细架构（没写文字，但是考试肯定是要文字的）：

三、习题

大题

1.HDFS Federation相对于HDFS1.0的优势？

（1）HDFS集群扩展性提高，不再像HDFS1.0中那样由于内存的限定制约文件存储数目。

（2）性能更高效。

（3）良好的隔离性。

2.YARN相对于MapReduce1.0来说的优势？

（1）大大减少了承担中心服务功能的ResourceManager的资源消耗。

（2）MapReduce1.0既是一个计算框架，又是一个资源管理调理框架，但是，只能支持MapReduce编程模型。而YARN则是一个纯粹的资源调理管理框架，在它上面可以运行包罗MapReduce在内的不同范例的计算框架，只要编程实现相应的ApplicationMaster.

（3）YARN中的资源管理比MapReduce1.0更加高效，以容器为单位，而不是以slot为单位。

3.请结合本学期所学的知识，提供一个该大数据平台的设计方案，请从数据库选择，数据采集开始设计，画出该平台的层次结构图（5分），并阐明每层有什么作用（5分），接纳什么工具或技能（5分）？

某公司为购物平台，业务量非常庞大，现在必要为一个公司创建大数据平台，全面支持公司业务，需提供以下业务：
实时的订单处理惩罚，时间跨度在数百毫秒到数秒之间；
基于历史订单的查询，时间跨度在数分钟之间：
对于平台各种数据的批处理惩罚分析，提供较复杂的业务，时间跨度在数小时之间。
大数据平台设计

  数据库选择

技能：HBase 和 MySQL
作用：HBase 用于存储大量的历史订单数据，提供高吞吐量和快速查询；MySQL 用于存储实时订单数据，支持高频率的读写操纵。

数据采集层

技能：Flume 和 Kafka
作用：Flume 从各种数据源（如日志、数据库）采集数据，Kafka 用于实时数据流的处理惩罚和传输，包管高吞吐量和低耽误。

数据存储层

技能：HDFS 和 HBase
作用：HDFS 存储批处理惩罚数据，HBase 存储实时和历史订单数据，提供快速随机访问本领。

数据处理惩罚层

技能：Spark 和 Hadoop MapReduce
作用：Spark 处理惩罚实时数据流，提供实时订单处理惩罚和快速查询；Hadoop MapReduce 处理惩罚批量数据，进行复杂的数据分析任务。

数据查询层

技能：Hive 和 Impala
作用：Hive 在 HDFS 上构建数据堆栈，支持批量数据查询；Impala 提供交互式的 SQL 查询，支持低耽误的数据分析。

数据展示层

技能：Tableau 和 Kibana
作用：Tableau 用于可视化分析和报表天生，Kibana 用于实时数据的监控和展示。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 qidao123.com技术社区-IT企服评测·应用市场 (https://dis.qidao123.com/)