ToB企服应用市场:ToB评测及商务社交产业平台

标题: Hadoop的搭建流程 [打印本页]
作者: 渣渣兔    时间: 2024-11-8 08:31
标题: Hadoop的搭建流程
一、设置IP

  1. vi /etc/sysconfig/network-scripts/ifcfg-ens33
复制代码
BOOTPROTO=“dbcp” 修改为 BOOTPROTO=“static”
  1. IPADDR="192.168.187.128"
  2. NETMASK="255.255.255.0"
  3. GATEWAY="192.168.187.2"
  4. DNS1="114.114.114.114"
  5. DNS2="8.8.8.8"
复制代码
  1. systemctl restart network  #重启网卡
复制代码
二、设置主机名

  1. vi /etc/hostname
复制代码
三、设置主机映射

  1. vi /etc/hosts
复制代码
修改完重启一下：reboot
四、关闭防火墙

  1. systemctl stop firewalld
复制代码
五、设置免密

  1. ssh-keygen -t rsa   #生成公钥和私钥
  2. ssh-copy-id node01    #将公钥传递给你想免密登录的电脑,比如node01，也可以传给自己
复制代码
六、安装jdk

1、第一步：

  1. mkdir -p /opt/modules     --以后存放安装包
  2. mkdir -p /opt/installs    --以后存放解压后的软件
复制代码
2、第二步：

  1. tar -zxvf jdk-8u321-linux-x64.tar.gz -C /opt/installs  //解压
  2. 进入文件夹 cd /opt/installs
  3. 进行重命名 mv jdk1.8.0_171 jdk
复制代码
3、第三步：

  1. vi /etc/profile
  2. export JAVA_HOME=/opt/installs/jdk
  3. export PATH=$PATH:$JAVA_HOME/bin
复制代码
在文件的末了追加，不要删除别人的任何设置。
4、第四步：

  1. source /etc/profile
复制代码
5、第五步：

  1. java -version
复制代码
七、安装hadoop

1、上传

2、解压

  1.    tar -zxvf hadoop-3.3.1.tar.gz -C /opt/installs/
复制代码
3、重命名

  1.    cd /opt/installs/
  2.    mv hadoop-3.3.1 hadoop
复制代码
4、开始设置环境变量

  1.    vi /etc/profile
  2. export JAVA_HOME=/opt/installs/jdk
  3. export HADOOP_HOME=/opt/installs/hadoop
  4. export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
复制代码
5、革新设置文件

  1.    source /etc/profile
复制代码
6、验证hadoop下令是否可以识别

  1.    hadoop version
复制代码
八、全分布搭建

环境准备⼯作：
1、安装了jdk
2、设置host映射
3、免密登录
4、第一台安装了hadoop
5、关闭了防⽕墙
systemctl status firewalld
6、修改linux的⼀个安全机制
vi /etc/selinux/config
修改⾥⾯的 SELINUX=disabled
7、修改设置文件core-site.xml

路径：/opt/installs/hadoop/etc/hadoop/core-site.xml
  1. <configuration>
  3.     <!--hdfs的配置-->
  4.     <!-- 设置namenode节点 -->
  5.     <!-- 注意: hadoop1.x时代默认端⼝9000 hadoop2.x时代默认端⼝8020 hadoop3.x时 代默认端⼝ 9820 -->
  6.     <property>
  7.         <name>fs.defaultFS</name>
  8.         <value>hdfs://node01:9820</value>
  9.     </property>
  10.     <!-- hdfs的基础路径，被其他属性所依赖的⼀个基础路径 -->
  11.     <property>
  12.         <name>hadoop.tmp.dir</name>
  13.         <value>/opt/installs/hadoop/tmp</value>
  14.     </property>
  15.    
  16. </configuration>
复制代码
8、修改设置文件hdfs-site.xml

路径：/opt/installs/hadoop/etc/hadoop/hdfs-site.xml
  1. <configuration>
  4.     <!--hdfs的配置-->
  5.     <property>
  6.         <name>dfs.replication</name>
  7.         <value>3</value>
  8.     </property>
  9.     <!--secondarynamenode守护进程的http地址：主机名和端⼝号。参考守护进程布局 -->
  10.     <property>
  11.         <name>dfs.namenode.secondary.http-address</name>
  12.         <value>node02:9868</value>
  13.     </property>
  14.     <!-- namenode守护进程的http地址：主机名和端⼝号。参考守护进程布局 -->
  15.     <property>
  16.         <name>dfs.namenode.http-address</name>
  17.         <value>node01:9870</value>
  18.     </property>
  19.    
  20.    
  21. </configuration>
复制代码
9、修改设置文件hadoop-env.sh

路径：/opt/installs/hadoop/etc/hadoop/hadoop-env.sh
  1. export JAVA_HOME=/opt/installs/jdk
  2. <-- Hadoop3中，需要添加如下配置，设置启动集群⻆⾊的⽤户是谁-->
  3. export HDFS_NAMENODE_USER=root
  4. export HDFS_DATANODE_USER=root
  5. export HDFS_SECONDARYNAMENODE_USER=root
  6. export YARN_RESOURCEMANAGER_USER=root
  7. export YARN_NODEMANAGER_USER=root
复制代码
10、修改设置文件workers

路径：/opt/installs/hadoop/etc/hadoop/workers
  1. node01
  2. node02
  3. node03
复制代码
11、修改完了第一台的设置文件，开始分发到其他两台上去。

  1. xsync.sh /opt/installs/hadoop
复制代码
12、拷贝环境变量：

  1. xsync.sh /etc/profile
复制代码
革新环境变量
  1. source /etc/profile
复制代码
13、在主节点 格式化namenode

  1. hdfs namenode -format
复制代码
14、只在第一台启动hdfs
start-dfs.sh
九、启动后的jps进程：

节点进程：
node01
NameNode，DataNode
node02
SecondaryNameNode，DataNode
node03
DataNode

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4