ToB企服应用市场:ToB评测及商务社交产业平台

标题: hadoop（1）--hdfs部署（亲测可用） [打印本页]
作者: 张国伟    时间: 2024-6-29 14:31
标题: hadoop（1）--hdfs部署（亲测可用）
一、预备：

1、三台集群部署，配置hosts

  1. #cat /etc/hosts
  2. 192.168.46.128 node1    #nameNode dataNode secondaryNameNode
  3. 192.168.46.129 node2    #datanode
  4. 192.168.46.130 node3    #datanode
复制代码
说明：
NameNode: 主节点管理者
DataNode：从节点工作者
SecondaryNameNode:主节点辅助
2、三台节点做相互免密。

  1.     node1 ->node2; node1->node3;
  2.     node2 ->node1; node2 ->node3;
  3.     node3 ->node1; node3 ->node2;
复制代码
天生ssh
  1. ssh-key-gen -t rsa       #一路回车
  2. ssh-copy-ip   节点名称    # 拷贝公钥
复制代码
3、安装java环境

  1. #1、 上传安装包，解包。
  2. cd /usr/local/java/   
  4. #2、修改profile配置文件，最后追加
  5. # vim /etc/profile
  6. JAVA_HOME=/usr/local/java/jdk1.8.0_221
  7. CLASSPATH=$JAVA_HOME/lib/
  8. PATH=$PATH:$JAVA_HOME/bin
  9. export PATH JAVA_HOME CLASSPATH
复制代码
二、上传hadoop安装包

1、创建hadoop目次

  1. mkdir /data/hadoop
复制代码
三、修改配置文件

所有配置文件都在hadoop包中etc目次下：
1、修改core-site.xml文件

  1. # vim hadoop-3.3.6/etc/hadoop/core-site.xml
  2. <configuration>
  3. <property>
  4.     <name>fs.defaultFS</name>
  5.     <value>hdfs://node1:8020</value>
  6.   </property>
  7.   <property>
  8.     <name>io.file.buffer.size</name>
  9.     <value>131072</value>
  10.   </property>
  11. </configuration>
复制代码
2、修改hadoop-env.sh文件

  1. # vim hadoop-3.3.6/etc/hadoop/hadoop-env.sh
  2. export JAVA_HOME=/usr/local/java    #修改安装的Java目录
  3. export HADOOP_HOME=/data/hadoop/hadoop-3.3.6    #修改当前hadoop的路径
  4. export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop   
  5. export HADOOP_LOG_DIR=$HADOOP_HOME/logs
复制代码
3、修改hdfs-site.xml文件

  1. # vim hadoop-3.3.6/etc/hadoop/hdfs-site.xml
  2. <configuration>
  3. <property>
  4.     <name>dfs.datanode.data.dir.perm</name>
  5.     <value>700</value>
  6.   </property>
  7.   <property>
  8.     <name>dfs.namenode.name.dir</name>
  9.     <value>/data/hadoop/data/nn</value>
  10.   </property>
  11.   <property>
  12.     <name>dfs.namenode.hosts</name>
  13.     <value>node1,node2,node3</value>
  14.   </property>
  15.   <property>
  16.     <name>dfs.blocksize</name>
  17.     <value>268435456</value>
  18.   </property>
  19.   <property>
  20.     <name>dfs.namenode.handler.count</name>
  21.     <value>100</value>
  22.   </property>
  23.   <property>
  24.     <name>dfs.datanode.data.dir</name>
  25.     <value>/data/hadoop/data/dn</value>
  26.   </property>
  27. </configuration>
复制代码
4、修改workers配置

  1. #vim hadoop-3.3.6/etc/hadoop/workers
  2. node1
  3. node2
  4. node3
复制代码
5、创建数据目次

  1. # node1 节点创建：mkdir /data/hadoop
  2. /data/dnmkdir /data/hadoop
  3. /data/nn# node2、 node3 节点创建：mkdir /data/hadoop
  4. /data/dn
复制代码
6、创建hadoop用户，并授权

  1. useradd hadoop
  2. # 以root身份，在三台服务器上均执行
  3. chown -R hadoop:hadoop /data/hadoop
复制代码
7、格式化NaneNode

  1. #1、在主节点虚拟机node1中切换到hadoop用户
  2. su - hadoop
  3. #2. 格式化namenode
  4. hadoop namenode -format
复制代码
四、启动集群

1、启动hdfs集群

  1. cd /data/hadoop/hadoop-3.3.6
  2. ./sbin/start-dfs.sh
复制代码
登录web界面：
![在这里插入图片形貌](https://img-blog.csdnimg.cn/direct/635adcec05674d2b9a888cead4f2f578.png

五、题目记载：

题目1：实际操作使用root用户，没有创建切换hadoop用户

启动报错，修改启动脚本和 stop 脚本
  1. ## 修改 start-dfs.sh  & stop-dfs.sh
  2. ## 上方空白处添加如下，
  3. HDFS_DATANODE_USER=root
  4. HADOOP_SECURE_DN_USER=hdfs
  5. HDFS_NAMENODE_USER=root
  6. HDFS_SECONDARYNAMENODE_USER=root
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4