ToB企服应用市场:ToB评测及商务社交产业平台

标题: Hadoop 2.0:主流开源云架构(三) [打印本页]

作者: 美食家大橙子    时间: 2024-7-12 18:26
标题: Hadoop 2.0:主流开源云架构(三)

四、Hadoop 2.0体系架构

(一)Hadoop 2.0公共组件Common

1、Common定位
  Common的定位是其他模块的公共组件,界说了程序员取得集群服务的编程接口,为其他模块提供公用API。降低Hadoop计划的复杂性,减少了其他模块之间的耦合性,增强了Hadoop的健壮性。
2、Common功能

(二)分布式文件系统HDFS

1、HDFS定位

  为进步扩展性,HDFS采用了master/slave架构来构建分布式存储集群,这种架构很容易向集群中任意添加或删除slave。
2、HDFS体系架构
(1)HDFS架构
  HDFS采用master/slave体系来构建分布式存储服务,进步了HDFS的可扩展性又简化了架构计划。HDFS里将文件分块存储,优化存储颗粒度。namenode同一管理所有slave机器datanode存储空间,datanode以块为单元存储实际的数据。真正的文件I/O操作时客户端直接和datanode交互。
  NameNode是主控礼服务器,负责维护文件系统的命名空间(Namespace),协调客户端对文件的访问,记录命名空间内的任何改动或命名空间本身的属性改动。DataNode负责它们所在的物理节点上的存储管理,HDFS开放文件系统的命名空间。NameNode执行文件系统的命名空间操作,决定数据块到DataNode的映射。

  客户端要访问一个文件。首先,客户端从NameNode获得组成文件的数据块的位置列表;其次,客户端直接从DataNode上读取文件数据。
  NameNode使用事务日志(EditLog)记录HDFS元数据的变化,使用映象文件(FsImage)存储文件系统的命名空间。事务日志和映象文件都存储在NameNode的当地文件系统中。将新的元数据刷新到当地磁盘的新的映象文件中,如许可以截去旧的事务日志,这个过程称为检查点(Checkpoint)。HDFS另有Secondary NameNode节点,它辅助NameNode处理映象文件和事务日志。NameNode更新映象文件并清算事务日志,使得事务日志的巨细始终控制在可配置的限度下。
(2)HDFS范例拓扑
① 一样寻常拓扑:只有单个NameNode节点,使用SecondaryNameNode或BackupNode节点及时获取NameNode元数据信息,备份元数据。

② 商用拓扑:有两个NameNode节点,并使用ZooKeeper实现NameNode节点间的热切换。


  从架构上看HDFS存在单点故障,无论是一样寻常拓扑照旧商用拓扑,新增的实体险些都是增强NameNode可靠性的组件,当然这里的ZooKeeper集群还可以用于Hbase。
3、HDFS内部特性
(1)冗余备份
  HDFS将每个文件存储成一系列数据块(Block),默认块巨细为64MB(可配置)。为了容错,文件的所有数据块都会有副本(副本数目即复制因子,可配置)。HDFS的文件都是一次性写入的,并且严格限制为任何时间都只有一个写用户。
(2)副本存放
  HDFS集群一样寻常运行在多个机架上,差异机架上机器的通信需要通过交换机。HDFS采用机架感知(Rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。机架的错误远比节点的错误少,这个策略可以防止整个机架失效时数据丢失,进步数据的可靠性和可用性,又能保证性能。

(3)副本选择
  HDFS会只管使用离程序最近的副本来满足用户请求,如许可以减少总带宽斲丧和读延时。HDFS的架构支持数据平衡策略。
(4)心跳检测
  NameNode周期性地从集群中的每个DataNode担当心跳包和块报告,收到心跳包阐明该DataNode工作正常。NameNode会标志最近没故意跳的DataNode为宕机,不会发给它们任何新的I/O请求。NameNode会不停检测这些需要复制的数据块,并在需要的时间重新复制。
(5)数据完整性检测
  多种原因可能造成从DataNode获取的数据块有损坏。HDFS客户端软件实现了对HDFS文件内容的校验和检查(Checksum)。DataNode获得的数据块对应的校验和隐藏文件中的差异,客户端就会判定数据块有损坏,将从其他DataNode获取该数据块的副本。
(6)元数据磁盘失效
  映象文件和事务日志是HDFS的焦点数据结构。NameNode可以配置为支持维护映象文件和事务日志的多个副本。任何对映象文件或事务日志的修改,都将同步到它们的副本上。当NameNode重新启动时,总是选择最新的同等的映象文件和事务日志。
(7)简单同等性模子、流式数据访问
  HDFS的应用程序一样寻常对文件实行一次写、多次读的访问模式。文件一旦创建、写入和关闭之后就不需要再更改了。如许就简化了数据同等性问题,高吞吐量的数据访问才成为可能;运行在HDFS上的应用主要以流式读为主,做批量处理;更注意数据访问的高吞吐量。
(8)客户端缓存
  客户端创建文件的请求不是立即到达NameNode,HDFS客户端先把数据缓存到当地的一个暂时文件,程序的写操作透明地重定向到这个暂时文件。当这个暂时文件累积的数据超过一个块的巨细(64MB)时,客户端才会联系NameNode。如果NameNode在文件关闭之前死机,那么文件将会丢失。如果不采用客户端缓存,网络速度和拥塞都会对输出产生很大的影响。
(9)流水线复制
  当客户端预备写数据到HDFS的文件中时,数据一开始会写入当地暂时文件。DataNode从前一个节点接收数据的同时,即时把数据传给后面的节点,这就是流水线复制。
(10)架构特征
  硬件错误是常态而不是异常。HDFS被计划为运行在平凡硬件上,所以硬件故障是很正常的。错误检测并快速自动恢复是HDFS的最焦点计划目标。
(11)超大规模数据集
  一样寻常企业级的文件巨细可能都在TB级甚至PB级,HDFS支持大文件存储,而且提供团体上高的数据传输带宽。一个单一的HDFS实例应该能支持数以万万计的文件,并且能在一个集群里扩展到数百个节点。
4、HDFS对外功能
(1)NameNode高可靠性
(2)HDFS快照
(3)HDFS快照
(4)HDFS安全性
(5)HDFS配额功能
(6)HDFS C语言接口
(7)HDFS Short-Circuit功能
(8)WebHdfs
(三)分布式操作系统Yarn

1、定位
  分布式操作系统的基本功能:管理盘算机资源,提供用户接口。Yarn一方面管理整个集群的盘算资源(CPU、内存等),另一方面提供用户程序访问系统资源的API。
2、体系架构
(1)Yarn架构
  Yarn的主要头脑是将MRv1版JobTracker的两大功能——资源管理和任务调度,拆分成两个独立的进程:

  Yarn依旧是master/slave结构,主进程ResourceManager是整个集群资源仲裁中心,从进程NodeManager管理本机资源,ResourceManager和从属节点的进程NodeManager组成了Hadoop 2.0的分布式数据盘算框架。

(2)Yarn执行过程
  Yarn在执行时包罗以下独立实体:
① Client:客户端,负责向集群提交作业。
② ResourceManager:集群主进程,仲裁中心,负责集群资源管理和任务调度。
③ Scheduler:资源仲裁模块。
④ ApplicationManager:选定,启动和羁系ApplicationMaster。
⑤ NodeManager:集群从进程,管理监视Containers,执行详细任务。
⑥ Container:本机资源集合体,如某Container为4个CPU,8GB内存。
⑦ ApplicationMaster:任务执行和羁系中心。


  若任务执行失败,如果是ApplicationMaster失败,ApplicationManager会重新选择一个Container再次执行此任务对应的ApplicationMaster;如果是盘算节点失败,ApplicationMaster首先向Scheduler申请资源,接着根据申请到的资源重新分配失败节点上的任务。
  从Yarn架构和Yarn任务执行过程能看出Yarn具有巨大优势:Scheduler是纯粹的资源仲裁中心;ApplicationManager只羁系ApplicationMaster;ApplicationMaster负责任务团体执行。
  Yarn的计划大大减轻了ResourceManager的资源斲丧,并且ApplicationMaster可分布于集群中任意一台机器,计划上更加精美。
(3)Yarn范例拓扑
  除了ResourceManager和NodeManager两个实体外,Yarn还包括WebAppProxyServer和JobHistoryServer两个实体。

① JobHistoryServer:管理已完成的Yarn任务。
  历史任务的日志和执行时的各种统计信息同一由JobTracker管理,Yarn将管理历史任务的功能抽象成一独立实体JobHistoryServer。
② WebAppProxyServer:任务执行时的Web页面代理。
  通过使用代理,不仅进一步降低了ResourceManager的压力,还能降低Yarn受到的Web攻击。负责羁系详细MapReduce任务执行全过程,将从Container那边收集过的任务执行信息汇总并显示到一个Web界面上。
3、编程模板
  ApplicationMaster 是一个可变动的部分,只要实现差异的ApplicationMaster,就可以实现差异的编程模式。

(1)示例模板
  Yarn的示例编程为“distributedshell”,该程序可以将给定的shell下令分布到机器执行。
(2)MapReduce模板
  Map把任务分解成为多个任务,Reduce把分解后多任务处理的结果汇总起来,得到终极结果。

  一个MapReduce操作分为两个阶段:映射阶段和化简阶段。
  在映射阶段,MapReduce框架将用户输入的数据分割为M个片断,对应M个Map任务。在化简阶段,每一个Reduce操作的输入是一个<K2,list(V2)>片断,Reduce操作调用用户界说的Reduce函数,生成用户需要的键值对<K3,V3>进行输出。
4、调度策略
  ResourceManager的Scheduler模块支持插拔,通过配置文件,用户可以个性化指定其调度策略。

(1)容量调度算法CapacityScheduler
概述:
  CapacityScheduler是一种多用户多任务调度策略,它以队列为单元分别任务,以Container为单元分配资源,它也是Hadoop 2.0默认的调度策略,为多个用户共享集群资源提供安全可靠的保障。
  通过共建集群的方式,不光可以进步资源利用率,还能在须要时候使用更多的集群资源,同时,构造机构间共建集群也大大降低了运维成本。容量调度策略通过队列来分别资源,队列间关系类似于一棵多叉树,队列间一层层继续,根队列称为root队列,Yarn初次启动时默认启动队列为root.default队列。
容量调度算法特性
① 多级队列:容量调度策略以队列来分别集群资源,差异机构可以在集群里新建差异队列。
② 容量确定性:规定某队列占用集群资源的上下限,可以或许确保即使其他队列用到其最高峰时,也能预留充足资源留给此队列。
③ 安全性:每个队列都有相应的访问控制列表ACL文件。
④ 弹性:通过设置队列额外资源使用量,可以或许让此队列使用超出规定的资源量。
⑤ 多用户:通过设置差异队列拥有资源的比例,制止某用户或某进程独占集群资源,实现多用户多任务调度。
⑥ 易操作性:主要包括及时配置和及时更改队列状态。
及时配置:管理员可以或许以安全的方式,在不制止集群的情况下,及时更新队列配置。
① 及时更改队列状态:管理员可以在不制止集群的情况下,将队列从运行状态切换成制止状态。Yarn可以管理用户权限和作业提交。
② 基于资源调度:Yarn支持资源密集型作业,作业在分配Container时其Container所包罗的资源量是肯定的,但Yarn允许此Container在执行时占用更多的资源,现在只支持内存。
管理接口
① Web接口:yarn-site.xml指定使用容量调度策略。capacity-scheduler.xml配置全局多级队列和队列的ACL文件。mapred-site.xml配置客户端提交MapReduce任务时使用的队列。Hadoop-policy.xml配置全局ACL文件。
② Shell下令接口:$HADOOP_YARN_HOME/bin/yarn rmadmin –refreshQueues,管理员可以通过此下令在不制止集群的情况下,使多级队列的配置立即生效。
(2)公平调度策略FairScheduler
概述
  FairScheduler是一种允许多个Yarn任务公平使用集群资源的可插拔式调度策略。

  从宏观上看,集群资源公平地为每一个任务所拥有,它不仅可以让短作业在公道的时间内完成,也制止了长作业恒久得不到执行的尴尬局面。
多级队列包括以下几个方面的内容。
① 默认队列:公平调度策略也通过队列来构造和管理任务,并且也支持多级队列,其队列之间为多叉树结构。
② 队列间权重配置:设置某队列资源权重,权重越大,获得资源的比例越大。
③ 队列内多调度策略:队列内部的调度策略是可配置的,默认为FairSharePolicy策略。
④ 队列下限:为每个队列设置资源下限值,大大进步集群资源利用率。
⑤ 支持多用户:通过多级队列可以将差异的用户分配到差异的队列里。
⑥ 访问控制列表ACL:管理员可以设置队列的ACL文件,严格控制用户访问。
接口
① yarn-site.xml:设定属性yarn.resourcemanager.scheduler.classYarn启动公平调度策略,设置属性yarn.scheduler.fair.allocation.file来指定多级队列文件位置。
② fair-scheduler.xml:配置多级队列的文件,此文件名与位置是通过Yarn配置文件yarn-site.xml里yarn.scheduler.fair.allocation.file属性指定。
(四)Hadoop 2.0安全机制简介

  早期Hadoop版本假定HDFS和MapReduce运行在安全的环境中,它基本上没有安全步伐。集群内部,任何用户提交的MR任务都可以任意访问HDFS数据;集群外部,我们甚至可以启动一个非法slave连接到master,从而冒充集群slave骗取集群数据。随着Hadoop应用越来越广泛,它的安全机制也在不停完善。
1、Hadoop安全机制配景


2、Hadoop安全机制架构头脑
  Kerberos判定登任命户(服务)是否是其声称的用户(服务),Hadoop决定这个用户到底拥有多少权限。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。




欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4