马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有账号？立即注册
x
一、概念
1.Hadoop1.0的核心组件（仅指MapReduce和HDFS，不包罗Hadoop生态系统内的Pig、Hive、HBase等其他组件），主要存在以下不敷：
（1）抽象层次低，需人工编码
（2）表达本领有限
（3）开发者自己管理作业（Job）之间的依赖关系
（4）难以看到程序整体逻辑
（4）实行迭代操纵服从低
（5）资源浪费（Map和Reduce分两阶段实行）
（6）实时性差（适合批处理惩罚，不支持实时交互式）
2.优化与发展体现在两个方面：
（1）Hadoop自身两大核心组件MapReduce和HDFS的架构设计改进
（2）Hadoop生态系统别的组件的不绝丰富，加入了Pig、Tez、Spark和Kafka等新组件
3.HDFS HA（High Availability，重点）
（1）为了解决1.0第二名称节点无法降服单点故障标题
（2）1.0那种日志啥的叫冷备份，2.0这个升级了叫热备份。
（3）热备份：
通俗讲就是搞俩节点，坏了用另一个。
HA集群设置两个名称节点，“活泼（Active）”和“待命（Standby）”，Zookeeper确保一个名称节点在对外服务，就是确保坏了没有。
4.HDFS Federation（联邦机制，重点）
解决了，不可以水平扩展，系统整体性能受限于单个名称节点的吞吐量，单个名称节点难以提供不同程序之间的隔离性 等这些标题。
（1）设计了多个相互独立的名称节点。
（2）相互之间是联盟（Federation）关系，不必要相互和谐，而且向后兼容。
（3）所有名称节点会共享底层的数据节点存储资源。
二、资源管理调理框架YARN
1.YARN
（1）JobTracker“大包大揽”导致任务过重。
（2）YARN的目标就是实现“一个集群多个框架”.
（3）容器（Container）：是YARN的动态资源分配单位。每个容器中都封装了一定命量的CPU、内存、磁盘等资源，从而限定每个应用程序可以使用的资源量。
2.YARN对待JobTracker的拆分思路（熟记）
3.详细架构（没写文字，但是考试肯定是要文字的）：
三、习题
大题
1.HDFS Federation相对于HDFS1.0的优势？
（1）HDFS集群扩展性提高，不再像HDFS1.0中那样由于内存的限定制约文件存储数目。
（2）性能更高效。
（3）良好的隔离性。
2.YARN相对于MapReduce1.0来说的优势？
（1）大大减少了承担中心服务功能的ResourceManager的资源消耗。
（2）MapReduce1.0既是一个计算框架，又是一个资源管理调理框架，但是，只能支持MapReduce编程模型。而YARN则是一个纯粹的资源调理管理框架，在它上面可以运行包罗MapReduce在内的不同范例的计算框架，只要编程实现相应的ApplicationMaster.
（3）YARN中的资源管理比MapReduce1.0更加高效，以容器为单位，而不是以slot为单位。
3.请结合本学期所学的知识，提供一个该大数据平台的设计方案，请从数据库选择，数据采集开始设计，画出该平台的层次结构图（5分），并阐明每层有什么作用（5分），接纳什么工具或技能（5分）？
某公司为购物平台，业务量非常庞大，现在必要为一个公司创建大数据平台，全面支持公司业务，需提供以下业务：
实时的订单处理惩罚，时间跨度在数百毫秒到数秒之间；
基于历史订单的查询，时间跨度在数分钟之间：
对于平台各种数据的批处理惩罚分析，提供较复杂的业务，时间跨度在数小时之间。
大数据平台设计
数据库选择
- 技能：HBase 和 MySQL
- 作用：HBase 用于存储大量的历史订单数据，提供高吞吐量和快速查询；MySQL 用于存储实时订单数据，支持高频率的读写操纵。
数据采集层
- 技能：Flume 和 Kafka
- 作用：Flume 从各种数据源（如日志、数据库）采集数据，Kafka 用于实时数据流的处理惩罚和传输，包管高吞吐量和低耽误。
数据存储层
- 技能：HDFS 和 HBase
- 作用：HDFS 存储批处理惩罚数据，HBase 存储实时和历史订单数据，提供快速随机访问本领。
数据处理惩罚层
- 技能：Spark 和 Hadoop MapReduce
- 作用：Spark 处理惩罚实时数据流，提供实时订单处理惩罚和快速查询；Hadoop MapReduce 处理惩罚批量数据，进行复杂的数据分析任务。
数据查询层
- 技能：Hive 和 Impala
- 作用：Hive 在 HDFS 上构建数据堆栈，支持批量数据查询；Impala 提供交互式的 SQL 查询，支持低耽误的数据分析。
数据展示层
- 技能：Tableau 和 Kibana
- 作用：Tableau 用于可视化分析和报表天生，Kibana 用于实时数据的监控和展示。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 | 
