ToB企服应用市场:ToB评测及商务社交产业平台

标题: 开源大数据集群部署(二)集群基础环境实施准备 [打印本页]

作者: 北冰洋以北    时间: 2024-3-31 02:45
标题: 开源大数据集群部署(二)集群基础环境实施准备
作者:櫰木
环境准备

本次使用到的二进制软件包目录为:系统初始化前提是操作系统已完成安装、各个主机之间网络互通,系统常用命令已安装,本默认这些前提条件已具备,不在阐述。
1 主机环境初始化

安装centos系统完成后需要对主机进行初始化配置和验证工作,在所有主机上(hd1.dtstack.com-hd3)均要进行操作,并按照对应hosts修改主机名:
(主机名必须为xxx.xxx.com 匹配freeipa安装需求)
(1) 主机配置映射(操作权限root)
  1. $ cat>>/etc/hosts <<EOF
  2. 172.16.104.226 hd1.dtstack.com
  3. 172.16.106.252 hd2.dtstack.com
  4. 172.16.107.127 hd3.dtstack.com
  5. 172.16.106.165 hd.dtstack.com
  6. EOF
复制代码
5 NTP服务配置

安装
在hd1.dtstack.com-hd3.dtstack.com各个主机上root权限下执行:
  1. $ systemctl stop firewalld
  2. $ systemctl disable firewalld
  3. $ setenforce 0 && sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
复制代码
配置时间同步服务端
在hd1.dtstack.com主机root权限下执行

ntp配置
  1. [root@hd1.dtstack.com ~]$ remote_op.sh "groupadd hadoo p"
  2. [root@hd1.dtstack.com ~]$ remote_op.sh "useradd hive -G hadoop"
  3. [root@hd1.dtstack.com ~]$ remote_op.sh "echo hive | passwd --stdin hive"
复制代码
说明:
ntp服务启动和验证
启动
  1. $ cd /opt/bigdata
  2. $ tar -zvxf zulu11.60.19-ca-jdk11.0.17-linux_x64.tar.gz -C /opt
  3. tar -zxvf jdk-8u281-linux-x64.tar.gz
  4. ln -s  /opt/jdk1.8.0_281  /opt/java
复制代码
验证
  1. $ cd $HOME  #在hadoop当前目录下创建ssh互信
  2. $ ssh-keygen -t rsa   #一路回车,不需要输入任何信息
复制代码

Active状态为running表示服务启动成功
配置时间同步客户端
在hd2.dtstack.com主机root权限下执行

配置时间同步服务源
[code][root@hd2.dtstack.com ~]# cp /etc/ntp.conf /etc/ntp.conf.bak[root@hd2.dtstack.com ~]# cat >/etc/ntp.conf




欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4