【腾讯云】腾讯云docker搭建单机hadoop

下载jdk hadoop

1. wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz
2. wget --no-check-certificate https://repo.huaweicloud.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

复制代码

下载结果：

将下载的内容解压到一个统一的文件夹中，必要COPY到镜像的文件都放入一个文件夹中，可以减少镜像层数。

1. mkdir /opt/hadoop-space
2. mv hadoop-3.1.3.tar.gz /opt/hadoop-space/
3. mv jdk-8u151-linux-x64.tar.gz /opt/hadoop-space/
4. cd /opt/hadoop-space/
5. tar zxvf hadoop-3.1.3.tar.gz
6. tar zxvf jdk-8u151-linux-x64.tar.gz

复制代码

结果：

修改hadoop配置

1. cd hadoop-3.1.3/etc/hadoop/
2. vim hdfs-site.xml

复制代码

修改内容：

1. <configuration>
2.         <property>
3.         <name>dfs.replication</name>
4.         <value>1</value>
5.     </property>
6.     <property>
7.         <name>dfs.namenode.name.dir</name>
8.         <value>file:/usr/local/hadoop-3.1.3/tmp/dfs/name</value>
9.     </property>
10.     <property>
11.         <name>dfs.datanode.data.dir</name>
12.         <value>file:/usr/local/hadoop-3.1.3/tmp/dfs/data</value>
13.     </property>
14.     <!-- datanode 通信是否使用域名,默认为false，改为true -->
15.     <property>
16.         <name>dfs.client.use.datanode.hostname</name>
17.         <value>true</value>
18.     </property>
20. </configuration>

复制代码

1. vim core-site.xml

复制代码

修改内容：

1. <configuration>
2.     <property>
3.         <name>hadoop.tmp.dir</name>
4.         <value>file:/usr/local/hadoop-3.1.3/tmp</value>
5.         <description>location to store temporary files</description>
6.     </property>
7.     <property>
8.         <name>fs.defaultFS</name>
9.         <value>hdfs://0.0.0.0:9000</value>
10.     </property>
11. </configuration>

复制代码

编写Dockerfile

1. FROM centos:7
3. LABEL author="yj" date="2025/01/29"
5. # 安装openssh-server
6. RUN yum install -y openssh-server \
7.     && yum install -y openssh-clients \
8.     && yum install -y which
10. COPY  /opt/hadoop-space /usr/local/
12. # 安装vim命令
14. # 设置java环境变量
15. ENV JAVA_HOME=/usr/local/jdk1.8.0_151 PATH=$PATH:/usr/local/jdk1.8.0_151/bin
16. # 设置hadoop的环境变量
17. ENV HADOOP_HOME=/usr/local/hadoop-3.1.3 PATH=$PATH:/usr/local/hadoop-3.1.3/bin:/usr/local/hadoop-3.1.3/sbin HDFS_NAMENODE_USER=root HDFS_DATANODE_USER=root HDFS_SECONDARYNAMENODE_USER=root YARN_RESOURCEMANAGER_USER=root YARN_NODEMANAGER_USER=root
19. RUN echo 'export JAVA_HOME=/usr/local/jdk1.8.0_151' >> $HADOOP_HOME/etc/hadoop/yarn-env.sh \
20.     && echo 'export JAVA_HOME=/usr/local/jdk1.8.0_151' >> $HADOOP_HOME/etc/hadoop/hadoop-env.sh \
21.     && sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config \
22.     && ssh-keygen -t rsa -f ~/.ssh/id_rsa -P '' \
23.     && cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
25. RUN chmod +x $HADOOP_HOME/sbin/start-all.sh
27. RUN echo "root:111111" | chpasswd \
28.     && echo "root   ALL=(ALL)       ALL" >> /etc/sudoers \
29.     && ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key \
30.     && ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key \
31.     && ssh-keygen -t dsa -f /etc/ssh/ssh_host_ecdsa_key \
32.     && ssh-keygen -t rsa -f /etc/ssh/ssh_host_ed25519_key \
33.     && mkdir /var/run/sshd
34. EXPOSE 22
35. CMD sh -c '/usr/sbin/sshd && /usr/local/hadoop-3.1.3/bin/hdfs namenode -format && $HADOOP_HOME/sbin/start-all.sh && tail -f /dev/null'

复制代码

构建镜像

1. docker build -t hadoop .

复制代码

运行镜像

1. docker run --name='hadoop' -it -d -p 9000:9000 -p 9866:9866 hadoop

复制代码

创建客户端

如果出现连接9866端口报错，只需当地配置/etc/hosts即可

1. public static void main(String[] args) throws IOException {
2.         FileSystem fileSystem = null;
3.         try {
4.             Configuration conf = new Configuration();
5.             conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
6.             conf.set("dfs.client.use.datanode.hostname", "true");
7.             fileSystem = FileSystem.get(new URI("hdfs://hecs-71785:9000/"), conf, "root");
10.             FSDataOutputStream out = fileSystem.create(new Path("/wzj/test.txt"));
11.             out.writeUTF("hello world");
12.             out.flush();   //立即将缓冲区的数据输出到接收方
13.             out.close();
15.             FileStatus[] fileStatuses = fileSystem.listStatus(new Path("/"));
16.             for (FileStatus fileStatus : fileStatuses) {
17.                 System.out.println(fileStatus.toString());
18.             }
19.         } catch (Exception e) {
20.             throw new RuntimeException(e);
21.         } finally {
22.             fileSystem.close();
23.         }
24.     }

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。