开源大数据集群部署（一）集群实施规划

作者：櫰木
本次集群规划信息

本次实际生产业务体量存在巨大差异，但集群规划内容相同，因此建议实际生产环境按照按照一定比例扩展即可。
主机操作系统要求

软件信息参数配置8C16G操作系统版本CentOS Linux release 7.8.2003 (Core)java版本java version "1.8.0_281"hadoop版本hadoop 3.2.4集群版本规划

集群组建版本HDFS3.2.4YARN3.2.4MapReduce23.2.4Hive3.1.2HBase2.1.0ZooKeeper3.7.1Trino389主机角色规划

服务器IP角色hd1.dtstack.com（管理节点）172.16.104.226namenode/resourcemanager/journalnode/zkfc//hive_metastore/hiveserver2hd2.dtstack.com（管理节点）172.16.106.252namenode/resourcemanager/journalnode/zkfc/hamster/rangerhd3.dtstack.com（数据节点）172.16.107.127datanode/nodemanager/journalnode/hd1.dtstack.com(kerberos节点)172.16.106.165freeipaserver配置目录规划

所有安装包目录为/opt/hadoop 类似
组件目录名称目录HADOOPhadoop datanode目录/data/hadoop/dfs/datahadoop namenode目录/data/hadoop/dfs/namehadoop临时目录/data/hadoop/tmpZOOKEEPERzookeeper数据目录/data/zookeeper/data/zookeeper日志目录/data/zookeeper/log/组件系统用户规划

组件启动用户所属组hdfs（namenode/datanode/zkfc/journalnode）hdfshadoopyarn（reourcemanager/nodemanager/）yarnhadoopzookeeperzookeeperzookeeperhivehivehadoophbasehbasehadoopmysqlmysqlmysqlrangerrangerrangergrafanagrafanagrafanaprometheusprometheusprometheustrinotrinohadoop
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！