ToB企服应用市场:ToB评测及商务社交产业平台

标题: [Docker & Hadoop] 使用 Docker 搭建 Hadoop 集群（无坑版） [打印本页]
作者: 去皮卡多    时间: 2025-1-6 23:17
标题: [Docker & Hadoop] 使用 Docker 搭建 Hadoop 集群（无坑版）
[Docker & Hadoop] 使用 Docker 搭建 Hadoop 集群

java8 hadoop3.2.4 centos:centos7.9.2009 jdk1.8.0_161
2024-12-18：建议照旧到云服务上操纵，使用单个docker操纵，由于在web界面操纵下载文件是hadoop会跳转下载地址，会产生很多网络方面的问题
一些根本的关于 docker 的命令不在此先容，废话没有直接开始
搭建过程中你会使用到的包
链接: https://pan.baidu.com/s/1Y371SpxO7tUe88GFYP38zA?pwd=ket9 提取码: ket9
下面是打包的 docker 镜像，使用这个镜像你可以跳过前三个步骤，这个是 AMD64架构的，不确定别的架构下是否能使用。
！如果你要使用我的 docker 镜像，要自己提前创建一个 hadoop 的 docker内网，不要使用文档中的192.168.1.101-192.168.1.103这三个 ip,而是用172.18.1.1-172.18.1.3这个 ip范围。
  1. docker pull kunghuang/hadoop-docker:v1
复制代码
  1. docker network create \
  2.   --driver bridge \
  3.   --subnet=172.18.1.0/24 \
  4.   --ip-range=172.18.1.0/24 \
  5.   hadoop
复制代码
正片开始
一、创建出容器

  1. docker run --privileged=true --name=hadoop001 --platform=linux/amd64 -p 9870:9870 -p 8020:8020 -p 2222:22 -dit centos:centos7.9.2009 /sbin/init
  3.         -- 9870&8020两个端口开放给 haoop  
  4.         -- 2222端口方便后面启动 ssh 用 xssh 等工具连接用
  5.         -dit 表示交互式且后台运行，少了 -it 容器会自动停止
  6.         --privileged=true 和 /sbin/init 表示特权启动，后面可能需要实用到 service 命令，需要由这个权限才可以
  7.         没有上面这个，再使用时会报 PID 1 的错误哦
  8.        
  9.         #对于Mac用户 m系列芯片加上 win&liunx应该用没试过
复制代码
二、为容器配备java和hadoop环境

将 jdk 和 hadoop 从主机复制到该容器中
  1. docker cp <jdk路径> <容器id>:<容器路径>
  2. docker cp <hadoop路径> <容器id>:<容器路径>
  4. docker cp jdk-8u161-linux-x64.tar.gz 63a:/root
  5. docker cp hadoop-3.2.4.tar.gz 63a:/root
  7. #进入容器
  8. docker exec -it hadoop001 bash
  10. #两个压缩文件
  11. tar -zxvf xxxxx
复制代码
在 /etc/profile.d/ 下创建文件 mydev.sh
vim mydex.sh 文件内容如下
  1. # Java
  2. export JAVA_HOME=<jdk在容器的路径>
  3. export PATH=$PATH:$JAVA_HOME/bin
  5. # Hadoop
  6. export HADOOP_HOME=<hadoop在容器的路径>
  7. export PATH=$PATH:$HADOOP_HOME/bin
  8. export PATH=$PATH:$HADOOP_HOME/sbin
  10. # Constant
  11. export HDFS_NAMENODE_USER=root
  12. export HDFS_DATANODE_USER=root
  13. export HDFS_SECONDARYNAMENODE_USER=root
  14. export YARN_RESOURCEMANAGER_USER=root
  15. export YARN_NODEMANAGER_USER=root
  17. ######################################################
  18. #如果你和我一样放在 root 下了直接用下面的
  20. # Java
  21. export JAVA_HOME=/root/jdk1.8.0_161
  22. export PATH=$PATH:$JAVA_HOME/bin
  24. # Hadoop
  25. export HADOOP_HOME=/root/hadoop-3.2.4
  26. export PATH=$PATH:$HADOOP_HOME/bin
  27. export PATH=$PATH:$HADOOP_HOME/sbin
  29. # Constant
  30. export HDFS_NAMENODE_USER=root
  31. export HDFS_DATANODE_USER=root
  32. export HDFS_SECONDARYNAMENODE_USER=root
  33. export YARN_RESOURCEMANAGER_USER=root
  34. export YARN_NODEMANAGER_USER=root
复制代码
第一第二个是两个环境，末了一个是一些常量，在启动集群的时候，还要用到这些常量，否则可能启动失败
末了实行 source /etc/profile 使配置文件见效，输入java -version 可以看到下面内容，你就成功了。
  1. java version "1.8.0_161"
  2. Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
  3. Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)
复制代码
三、配置ssh服务

我们必要让各个容器产生联系，才气构成集群，但默认环境下，容器并不能被其他容器直接通过 ssh 访问，以是这里必要配置
  1. # 1)设置密码
  2. passwd root
  4. # 2）安装 ssh
  5.         yum install -y openssh
  6.         yum install -y openssh-server
  7.         yum install -y openssh-clients
  8.        
  9.         #出问题执行下面这些操作
  10.         #建或编辑 /etc/yum.repos.d/CentOS-Base.repo 文件。
  11.         #将文件内容替换为阿里云提供的 CentOS 7 源配置：下面这段
  12. [base]
  13. name=CentOS-$releasever - Base - mirrors.aliyun.com
  14. failovermethod=priority
  15. baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/
  16. gpgcheck=1
  17. gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
  19. [updates]
  20. name=CentOS-$releasever - Updates - mirrors.aliyun.com
  21. failovermethod=priority
  22. baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
  23. gpgcheck=1
  24. gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
  26. [extras]
  27. name=CentOS-$releasever - Extras - mirrors.aliyun.com
  28. failovermethod=priority
  29. baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
  30. gpgcheck=1
  31. gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
  32.         #再运行上面三条命令即可
  33.        
  34. # 3)修改配置，【vim也需要安装】
  35.         vim /etc/ssh/sshd_config
  36.           PermitRootLogin yes
  37.           PasswordAuthentication yes
  38.          #这两个配置允许外网通过 ssh 连接该服务器（容器）
  39. # 4)        如果发现不是这样，就修改它，同时需要重启 ssh 是指生效
  40.         service sshd restart
  41.         同样该命令可能不存在，就下载它
  42.         yum install initscripts
  43.         #********不过这样好像不行，反正 Mac 上不行，用下面的方法********
  44. #1、生成密钥
  45. ssh-kengen -A
  46. #2、启动sshd
  47. /usr/sbin/sshd -D &
  48. #3、检验，输出两行说明成功
  49. ps aux | grep sshd
  50. #4、开机自启，容器环境下 systemctr 可能不可用
  51. echo '/usr/sbin/sshd -D &' >> /root/.bashrc
复制代码
通过上面一顿操纵，外网已经可以通过 ssh 访问该容器了，我们可以试试：
  1. 1)        首先在容器内，使用 ifconfig 查看 IP 地址
  2.         ifconfig
  3.         没有这个命令的话，就下载他[doge]
  4.         yum install net-tools
  6. 2)        在服务器本机中，通过 ssh 访问该 IP 地址尝试连接
  7.         ssh <IP>
  8.         然后要求输入密码，就是上面我们已经设置了的密码
  9. 3)也可以在宿主机子上登录，用 2222端口
  10. ssh -p 2222 root@127.0.0.1
复制代码
四、由该容器克隆出多个容器

起主要克隆出多个容器，就必要将该容器打包成镜像，再由该镜像创建出多个容器，步骤如下
  1. 1)        创建镜像
  2.         docker commit -a='hk' -m='Hadoop cluster example through docker by IceClean' 2dd hadoop-docker
  4. 2)        由该进项克隆多个容器模拟集群（这里以三台服务器的集群为例）
  5. !!!        后来补充：hadoop002 要用到的端口是： 8088，主机端口自定义
  6.         docker run --privileged=true --name=hadoop002 -p 8088:8088 -dit hadoop-docker /sbin/init
  7.        
  8. !!!        后来补充：hadoop003 要用到的端口是： 9868，主机端口自定义
  9.         docker run --privileged=true --name=hadoop003 -p 9868:9868 -dit hadoop-docker /sbin/init
复制代码
在这些容器生成好后，为它们配置一个 IP 地址映射
以后就不用去记住每一个容器的 IP 地址了
但同时由于 docker 网桥模式的特性，当容器重启时，会按次序为该容器分配一个 IP，使得该 IP 地址不是固定的会变化，这对我们已经做的映射非常不友好，以是接下来的第一步，是为每个容器固定一个 IP 地址(借助 docker network)
  1. #步骤 1：创建自定义网络（如果需要）
  2. #如果您还没有一个合适的 Docker 网络，可以创建一个新的桥接网络，并指定子网和网关等参数。
  3. docker network create --subnet=192.168.1.0/24 --gateway=192.168.1.1 hadoop
  5. docker network ls
  7. #步骤 2：将运行中的容器连接到新网络并指定 IP 地址
  8. docker network connect --ip 192.168.1.101 hadoop hadoop001
  9. docker network connect --ip 192.168.1.102 hadoop hadoop002
  10. docker network connect --ip 192.168.1.103 hadoop hadoop003
  12. #步骤 3：验证网络连接
  13. docker exec hadoop001 ip addr show
  15. docker inspect hadoop001
复制代码
这样就成功地为每一个容器固定好 IP 地址了，接下来就可以在容器内配置映射了
  1. 1)        在每一台容器中，修改 hosts 文件
  2.         vim /etc/hosts
  3.                 比如说我的，就在文件中增加：
  4.                 192.168.1.101 hadoop001
  5.                 192.168.1.102 hadoop002
  6.                 192.168.1.103 hadoop003
  8. 3)        配置完毕后，我们就可以直接通过名字轻松连接各个容器了，如：
  9.         ssh hadoop003
复制代码
五、为每个容器配置免密登录

容器之间虽然能正常互相毗连了，但如果每次都必要输入密码，那是及其不方便的
再而，到背面启动集群的时候，如果没有免密登录，既有可能会失败噢
以是我们可以为各个集群中的容器配置免密登录，实现各个容器之间的顺畅毗连
起首我们来了解一下免密登录的原理（以 hadoop001 和 hadoop002 为例）
在 hadoop001 中，可以使用 ssh-key-gen 生成密钥
—— 分为公钥和私钥，私钥保密，公钥可以给别人
然后如果将 hadoop001 的公钥拷贝给 hadoop002
—— 通过命令拷贝，该公钥会保存在 hadoop002 中的 Authorized_keys 中
以后 hadoop001 想要毗连 hadoop002，就可以直接通过公钥毗连，无需密码
以是我们可以知道，免密登录的实现，就是将目的服务器的公钥拷贝到对方的服务器上，这样对方即可免密登录该目的服务器，而如果两台服务器要互相免密登录，当然就要互相拷贝到对方的公钥啦~ 开始行动
  1. 1)        首先在 hadoop001 中，生成公钥和私钥（一路回车到底就行了，不需要输入内容）
  2.         ssh-keygen -t rsa
  3.         其中 id_rsa 为私钥，id_rsa.pub 为公钥
  5. 2)        将 hadoop001 的公钥拷贝到 hadoop002
  6.         ssh-copy-id hadoop002
复制代码
出现提示说明添加成功了，以后我们可以直接通过 ssh hadoop002 毗连 hadoop002
注意啦：公钥也必要拷贝到本服务器（如 hadoop001 将自己的公钥拷贝到 hadoop001）不然自己五大免密登录自己哦
然后对于其他的容器也是这样做，把每个容器的公钥都拷贝到自己以及别的两台服务器上，就实现了三台服务器互相的免密登录，完毕~
六、编写集群配置

前面做足了准备工作，把每一个容器都配置好了
如今要正式开始集群的搭建啦，起首是集群的配置：
安排一下集群的部署：
hadoop001hadoop002hadoop003HDFSNameNode
DataNodeDataNodeSecondaryNameNode
DataNodeYARNNodeManagerResourceManager
NodeManagerNodeManager hadoop001 兼任主节点，配置 NameNode
hadoop002 兼任资源管理，配置 ResourceManager
hadoop003 兼任备份结点，配置 SecondaryNameNode
接着按照这个规划，修改 hadoop 配置文件
先说明一下各个配置文件及其位置（~ 表现 hadoop 所在目录）
系统配置文件：~/share/doc/hadoop
用户自定义配置文件：~/etc/hadoop
必要我们自定义配置的文件在 etc 目录下，总共有四个，分别是：
core-site.xml，
① 配置 hadoop001
起首到主节点 hadoop001 里边，配置 core-site.xml
下面是我自己的配置，必要配置两个东西
① 将 hadoop001 设置为主节点，端口推荐为 8020
② 将数据的默认存储位置改为 hadoop 目录下的 data 文件夹（如果不存在的话，会自动创建）
  1. <configuration>
  2.     <!-- 指定 NameNode 地址 -->
  3.     <property>
  4.         <name>fs.defaultFS</name>
  5.         <value>hdfs://hadoop001:8020</value>
  6.     </property>
  7.         <!-- 使用 root用户操作文件 -->
  8.     <property>
  9.         <name>hadoop.http.staticuser.user</name>
  10.         <value>root</value>
  11.     </property>
  12.         <!-- 校验 -->
  13.     <property>
  14.         <name>dfs.permissions.enabled</name>
  15.         <value>false</value>
  16.     </property>
  17.     <!-- 指定 hadoop 数据存放的目录 -->
  18.     <property>
  19.         <name>hadoop.tmp.dir</name>
  20.         <value>/root/hadoop-3.2.4/data</value>
  21.     </property>
  22. </configuration>
复制代码
然后配置 hdfs-site.xml
  1. <configuration>
  2.     <!-- nn web 端访问地址 -->
  3.     <property>
  4.         <name>dfs.namenode.http-address</name>
  5.         <value>hadoop001:9870</value>
  6.     </property>
  8.     <!-- 2nn web 端访问地址-->
  9.     <property>
  10.         <name>dfs.namenode.secondary.http-address</name>
  11.         <value>hadoop003:9868</value>
  12.     </property>
  14.         <!-- 添加 web 端访问文件的权限 -->
  15.         <property>
  16.                 <name>dfs.webhdfs.enabled</name>
  17.                 <value>true</value>
  18.         </property>
  19. </configuration>
复制代码
然后是 yarn-site.xml
  1. <configuration>
  2.     <!-- 指定 MR 走 shuffle -->
  3.     <property>
  4.         <name>yarn.nodemanager.aux-services</name>
  5.         <value>mapreduce_shuffle</value>
  6.     </property>
  8.     <!-- 指定 ResourceManager 的地址 -->
  9.     <property>
  10.         <name>yarn.resourcemanager.hostname</name>
  11.         <value>hadoop002</value>
  12.     </property>
  14.     <!-- 环境变量的继承 -->
  15.     <property>
  16.         <name>yarn.nodemanager.env-whitelist</name>
  17.         <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  18.     </property>
  19. </configuration>
复制代码
末了配置 mapred-site.xml
  1. <configuration>
  2.     <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
  3.     <property>
  4.         <name>mapreduce.framework.name</name>
  5.         <value>yarn</value>
  6.     </property>
  7. </configuration>
复制代码
② 将编写好的四个配置文件，同步到其他两台服务器上（hadoop002，hadoop003）
只需实行下面这一句，就能将四个配置文件远程复制到别的一个容器中
由于之前设置了免密登录，以是它可以直接远程复制，而不必要输入密码，可以很方便地在哥哥容器之间拷贝文件（hadoop003 也同理）
  1. scp core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml root@hadoop002:/root/hadoop-3.2.4/etc/hadoop
复制代码
③ 配置 workers
同样是在 hadoop001 中，修改文件 /etc/hadoop/workers
将里边的内容去掉（把 localhost 删掉）然后换成我们的三个容器：
注意：行末不能有空格，以及不能有空行的出现
  1. hadoop001
  2. hadoop002
  3. hadoop003
复制代码
然后将该文件同步到其他两个容器
  1. scp workers root@hadoop002:/root/hadoop-3.1.3/etc/hadoop/
  2. scp workers root@hadoop003:/root/hadoop-3.1.3/etc/hadoop/
复制代码
七、启动集群

第一次启动时，必要举行初始化（以后就不用了，再初始化会清空数据哦）
  1. hdfs namenode -format
复制代码
初始化完毕后，在配置文件指定的目录下，就会生成 data 和 logs 两个文件
———— 接下来正式启动
① 起首启动 DFS：
在 Hadoop001 中操纵（配置了 NameNode 的）
进入 sbin，实行 ./start-dfs.sh 命令
然后实行 jps 看是否启动成功，和下图一样说明成功了

如果上面的配置都没有堕落的话，这里应该是很顺遂就启动的了
可能出现的错误有：
1、没有配置免密登录，权限不足导致启动失败
2、只把公钥给了其他容器，没有给自己，也会导致权限不足的失败
以是说，免密登录在这里，照旧非常非常紧张的！！！
② 然后启动 YARN：
在 Hadoop002 中操纵（配置了 ResourceManager的）
依旧在 sbin 中实行 ./start-yarn.sh
如果启动完毕的话，就实行 jps 检查下各个容器是否如我们规划的那样配置完毕
像我下面这种环境就是 OK 的：

③ 测试集群
访问 9870，9868 以及 8088 端口打
分别对应 NameNode SecondaryNameNode ResourceManager，就可以了。
！！！
如果你没有成功，可能是网络问题，可以尝试用 ng 加一层映射（我就是，原因没弄明白）
步骤 1：创建或毗连到现有的 Docker 网络【用前面的 hadoop 就可以】

步骤 2：准备 Nginx 配置文件

创建一个自定义的 Nginx 配置文件 nginx.conf，其中包含所需的反向代理规则。
nginx.conf 示例【映射的端口都在原有的端口上+1,其实一开始直接拉 hadoop 容器不指定端口，就可以直接用默认的端口】

  1. events {
  2.     worker_connections 1024;
  3. }
  5. http {
  6.     upstream hadoop_9870 {
  7.         server 172.18.1.1:9870;
  8.     }
  10.     upstream hadoop_9868 {
  11.         server 172.18.1.3:9868;
  12.     }
  14.     upstream hadoop_8088 {
  15.         server 172.18.1.2:8088;
  16.     }
  18.     upstream hadoop_9864 {
  19.         server 172.18.1.1:9864;
  20.     }
  22.     server {
  23.         listen 9871;
  25.         location / {
  26.             proxy_pass http://hadoop_9870;
  27.             proxy_set_header Host $host;
  28.             proxy_set_header X-Real-IP $remote_addr;
  29.             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  30.             proxy_set_header X-Forwarded-Proto $scheme;
  31.         }
  32.     }
  34.     server {
  35.         listen 9869;
  37.         location / {
  38.             proxy_pass http://hadoop_9868;
  39.             proxy_set_header Host $host;
  40.             proxy_set_header X-Real-IP $remote_addr;
  41.             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  42.             proxy_set_header X-Forwarded-Proto $scheme;
  43.         }
  44.     }
  46.     server {
  47.         listen 8089;
  49.         location / {
  50.             proxy_pass http://hadoop_8088;
  51.             proxy_set_header Host $host;
  52.             proxy_set_header X-Real-IP $remote_addr;
  53.             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  54.             proxy_set_header X-Forwarded-Proto $scheme;
  55.         }
  56.     }
  58.     server {
  59.         listen 9865;
  61.         location / {
  62.             proxy_pass http://hadoop_9864;
  63.             proxy_set_header Host $host;
  64.             proxy_set_header X-Real-IP $remote_addr;
  65.             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  66.             proxy_set_header X-Forwarded-Proto $scheme;
  67.         }
  68.     }
  69. }
复制代码
步骤 3：构建和启动 Nginx 容器

创建一个简单的 Dockerfile 来将自定义的 Nginx 配置文件复制到容器中，并使用官方的 Nginx 镜像。
Dockerfile 示例

  1. FROM nginx:latest
  3. # 复制自定义的 Nginx 配置文件 nginx.config 和 Dockerfile在一个目录
  4. COPY nginx.conf /etc/nginx/nginx.conf
  6. # 暴露端口
  7. EXPOSE 9871 9869 8089 9865
复制代码
然后构建并运行 Nginx 容器：
  1. # 构建镜像
  2. docker build -t my_nginx_proxy .
  4. # 启动容器并连接到 hadoop_network 网络
  5. docker run -d --name my_nginx_proxy --network hadoop_network -p 9871:9871 -p 9869:9869 -p 8089:8089 -p 9865:9865 my_nginx_proxy
复制代码
确保所有 Hadoop 容器和 Nginx 容器都在同一个 Docker 网络中，并且 IP 地址精确。您可以使用 docker inspect <container_name> 来检查容器的网络配置。
尝试访问 Nginx 的监听端口，以确认代理是否正常工作：
  1. http://localhost:9871
  2. http://localhost:9869
  3. http://localhost:8089
  4. http://localhost:9865
复制代码
然后可以看到下面页面，就大功告成




免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4