【Hadoop】- YARN架构[7]

前言

Yarn架构是一个用于管理和调度Hadoop集群资源的系统。它是Hadoop生态系统的一部分，主要用于办理Hadoop中的资源管理问题。
通过使用Yarn架构，Hadoop集群中的不同应用步伐可以共享集群资源，并根据必要动态分配和接纳资源。这种灵活的资源管理能力可以提高集群的利用率和性能。
一、焦点架构

1、YARN架构

• YARN，主从架构，有2个脚色
  
  
  
  • 主（Master）脚色：ResourceManager
    
  • 从（Slave）脚色：NodeManager
    
  
  

ResourceManager：整个集群的资源调度者，负责协调调度各个步伐所需的资源
NodeManager：单个服务器的资源调度者，负责调度单个服务器上的资源提供给应用步伐使用

那是怎样实现服务器上精准分配如上的硬件资源呢？
开辟的空间，称之为：容器
2、容器（Container）

NodeManager预先占用这一部分资源，然后将这一部分资源提供给步伐使用

• NodeManager在服务器上构建一个容器（提前占用资源，类似集装箱的概念）
  
• 然后将容器的资源提供给步伐使用
  
• 步伐运行在容器（集装箱）内，无法突破容器的资源限制
  

二、辅助架构

• 署理服务器（ProxyServer）：Web Application Proxy Web 应用步伐署理
  
• 历史服务器（JobHistoryServer）：应用步伐历史信息记录服务
  

1、Web应用署理（Web Application Proxy）

署理服务器，即Web应用署理是YARN的一部分。默认环境下，它将作为资源管理器（RM）的一部分运行，但是可以配置为在独立模式下运行。使用署理的原因是为了减少通过YARN举行基于网络的攻击的大概性。
这是由于YARN在运行时提供一个WEB UI站点（同HDFS的WEB UI站点一样）可供用户在浏览器内查看YARN的运行信息。
对外提供WEB站点会有安全性问题，而署理服务器的功能就是最大限度保障对WEB UI 的访问是安全的。好比:

• 警告用户正在访问一个不受信托的站点
  
• 剥夺用户访问的Cookie等
  

开启署理服务器，可以提高YARN在开放网络中的安全性（但不是绝对安全，只能是辅助提高一些）
2、JobHistoryServer历史服务器

历史服务器，记录历史运行的步伐的信息以及生产的日记并提供WEB UI 站点供用户使用浏览器查看

每台服务器里的每个容器都有运行日记，将运行日记同一网络到HDFS，由历史服务器托管为WEB UI供用户在浏览器同一查看

JobHistoryServer历史服务器功能：

• 提供WEB UI 站点，供用户在浏览器上查看步伐日记
  
• 可以保存历史数据，随时查看历史运行步伐信息
  

web应用署理与历史服务器都必要配置，具体的配置和启动可以阅读部署YARN集群


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。