开源大数据集群部署(一)集群实施规划

打印 上一主题 下一主题

主题 533|帖子 533|积分 1599

作者:櫰木
本次集群规划信息

本次实际生产业务体量存在巨大差异,但集群规划内容相同,因此建议实际生产环境按照按照一定比例扩展即可。
主机操作系统要求

软件信息参数配置8C16G操作系统版本CentOS Linux release 7.8.2003 (Core)java版本java version "1.8.0_281"hadoop版本hadoop 3.2.4集群版本规划

集群组建版本HDFS3.2.4YARN3.2.4MapReduce23.2.4Hive3.1.2HBase2.1.0ZooKeeper3.7.1Trino389主机角色规划

服务器IP角色hd1.dtstack.com(管理节点)172.16.104.226namenode/resourcemanager/journalnode/zkfc//hive_metastore/hiveserver2hd2.dtstack.com(管理节点)172.16.106.252namenode/resourcemanager/journalnode/zkfc/hamster/rangerhd3.dtstack.com(数据节点)172.16.107.127datanode/nodemanager/journalnode/hd1.dtstack.com(kerberos节点)172.16.106.165freeipaserver配置目录规划

所有安装包目录为/opt/hadoop 类似
组件目录名称目录HADOOPhadoop datanode目录/data/hadoop/dfs/datahadoop namenode目录/data/hadoop/dfs/namehadoop临时目录/data/hadoop/tmpZOOKEEPERzookeeper数据目录/data/zookeeper/data/zookeeper日志目录/data/zookeeper/log/组件系统用户规划

组件启动用户所属组hdfs(namenode/datanode/zkfc/journalnode)hdfshadoopyarn(reourcemanager/nodemanager/)yarnhadoopzookeeperzookeeperzookeeperhivehivehadoophbasehbasehadoopmysqlmysqlmysqlrangerrangerrangergrafanagrafanagrafanaprometheusprometheusprometheustrinotrinohadoop
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

干翻全岛蛙蛙

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表