【Hadoop】- YARN架构[7]
前言Yarn架构是一个用于管理和调度Hadoop集群资源的系统。它是Hadoop生态系统的一部分，主要用于办理Hadoop中的资源管理问题。
通过使用Yarn架构，Hadoop集群中的不同应用步伐可以共享集群资源，并根据必要动态分配和接纳资源。这种灵活的资源管理能力可以提高集群的利用率和性能。
一、焦点架构
1、YARN架构
[*]YARN，主从架构，有2个脚色
[*]主（Master）脚色：ResourceManager
[*]从（Slave）脚色：NodeManager
https://i-blog.csdnimg.cn/blog_migrate/bc78347a0442afaaa18309db9556d904.png
ResourceManager：整个集群的资源调度者，负责协调调度各个步伐所需的资源
NodeManager：单个服务器的资源调度者，负责调度单个服务器上的资源提供给应用步伐使用
https://i-blog.csdnimg.cn/blog_migrate/2eca95cb2c3997c44f6bce53be237a85.png
那是怎样实现服务器上精准分配如上的硬件资源呢？
开辟的空间，称之为：容器
2、容器（Container）
NodeManager预先占用这一部分资源，然后将这一部分资源提供给步伐使用
https://i-blog.csdnimg.cn/blog_migrate/53d3422441ba95bc21af9ea63d652ab0.png
[*]NodeManager在服务器上构建一个容器（提前占用资源，类似集装箱的概念）
[*]然后将容器的资源提供给步伐使用
[*]步伐运行在容器（集装箱）内，无法突破容器的资源限制
二、辅助架构
[*]署理服务器（ProxyServer）：Web Application Proxy Web 应用步伐署理
[*]历史服务器（JobHistoryServer）：应用步伐历史信息记录服务
1、Web应用署理（Web Application Proxy）
署理服务器，即Web应用署理是YARN的一部分。默认环境下，它将作为资源管理器（RM）的一部分运行，但是可以配置为在独立模式下运行。使用署理的原因是为了减少通过YARN举行基于网络的攻击的大概性。
这是由于YARN在运行时提供一个WEB UI站点（同HDFS的WEB UI站点一样）可供用户在浏览器内查看YARN的运行信息。
对外提供WEB站点会有安全性问题，而署理服务器的功能就是最大限度保障对WEB UI 的访问是安全的。好比:
[*]警告用户正在访问一个不受信托的站点
[*]剥夺用户访问的Cookie等
开启署理服务器，可以提高YARN在开放网络中的安全性（但不是绝对安全，只能是辅助提高一些）
2、JobHistoryServer历史服务器
历史服务器，记录历史运行的步伐的信息以及生产的日记并提供WEB UI 站点供用户使用浏览器查看
https://i-blog.csdnimg.cn/blog_migrate/0c97255bbc75535c025efbf535a62478.png
每台服务器里的每个容器都有运行日记，将运行日记同一网络到HDFS，由历史服务器托管为WEB UI供用户在浏览器同一查看
https://i-blog.csdnimg.cn/blog_migrate/4b7a51b7cef6581291cbe02dd8727aab.png
JobHistoryServer历史服务器功能：
[*]提供WEB UI 站点，供用户在浏览器上查看步伐日记
[*]可以保存历史数据，随时查看历史运行步伐信息
web应用署理与历史服务器都必要配置，具体的配置和启动可以阅读部署YARN集群
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]