Hadoop3.3.6安装和设置hbase-2.5.5-hadoop3x，zookeeper-3.8.3

---

  

前置设置

vm设置

虚拟机创建（hadoop1，hadoop2,hadoop3）

在安装过程中推荐设置root用户暗码为1234方面后续操作

linux前置设置(三个呆板都要设置)

1.设置主机名

以hadoop3为例

1. hostnamectl set-hostname hadoop3

复制代码

2.设置固定ip

1. vim  /etc/sysconfig/network-scripts/ifcfg-ens33

复制代码

hadoop1 192.168.88.201
hadoop2 192.168.88.202
hadoop3 192.168.88.203
最后执行
service network restart
革新网卡
3.工具连接(三个呆板都要设置)

4.主机映射

windows:

C:\Windows\System32\drivers\etc
修改这个路径下的hosts文件

推荐使用vscode打开可以修改成功
linux:（三个呆板都要设置）

1. vim /etc/hosts

复制代码

5.设置SSH免密登录（三个呆板都要设置）

root免密

1.在每一台呆板都执行：ssh-keygen -trsa -b 4096 ,一起回车到底即可

2.在每一台呆板都执行：

1. ssh-copy-id hadoop1
2. ssh-copy-id hadoop2
3. ssh-copy-id hadoop3

复制代码

hadoop免密

创建hadoop用户并设置免密登录
1.在每一台呆板执行：useradd hadoop,创建hadoop用户

2.在每一台呆板执行：passwd hadoop,设置hadoop用户暗码为1234

3.在每一台呆板均切换到hadoop用户：su - hadoop,并执行ssh-keygen -trsa -b 4096,创建ssh密钥

4.在每一台呆板均执行

1. ssh-copy-id hadoop1
2. ssh-copy-id hadoop2
3. ssh-copy-id hadoop3

复制代码

6.关闭防火墙和SELinux（三个呆板都要设置）

1：

1. systemctl stop firewalld
3. systemctl disable firewalld

复制代码

2.

1. vim /etc/sysconfig/selinux

复制代码

设置好输入 init 6 重启

3.

以下操作在三台Linux均执行

• 安装ntp软件
  

1. yum install -y ntp

复制代码

• 更新时区
  

1. rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

复制代码

• 同步时间
  

1. ntpdate -u ntp.aliyun.com

复制代码

• 开启ntp服务并设置开机自启
  

1. systemctl start ntpd
3. systemctl enable ntpd

复制代码

三台创建快照1

当您看到这里的时候我很感谢，但后续的内容并不是很好的内容，下面的设置文件是我幼年斗志昂扬没考虑到许多东西进行设置的，例如性能和安装设置这些的分布。
请看这篇文章，它是我认为最好的讲解。
文章链接
环境设置

1、jdk1.8 Java Downloads | Oracle
2、hadoop-3.3.6 Apache Hadoop
3、hbase-2.5.5.hadoop3x Index of /dist/hbase/2.5.5 (apache.org)
4、zookeeper-3.8.3 Apache ZooKeeper
重点：以下设置都是在root用户下进行设置后续会给对应的hadoop用户权限
推荐一口气设置完在进行给予权限和进行设置文件的革新，以及最后的分发

jdk

创建文件夹，用来摆设JDK，将JDK和Tomcat都安装摆设到：/export/server 内

1. cd /
3. mkdir export
5. cd export
7. mkdir server

复制代码

解压缩JDK安装文件

1. tar -zxvf jdk-8u321-linux-x64.tar.gz -C /export/server

复制代码

设置JDK的软链接

设置JAVA_HOME环境变量，以及将$JAVA_HOME/bin文件夹加入PATH环境变量中

1. vim /etc/profile
4. export JAVA_HOME=/export/server/jdk
5. export PATH=$PATH: $JAVA_HOME/bin

复制代码

生效环境变量

1. source /etc/profile

复制代码

删除系统自带的java步调

1. rm -f /usr/bin/java

复制代码

软链接我们自己的java

1. ln -s /export/server/jdk/bin/java /usr/bin/java

复制代码

执行验证

分发

hadoop2,3先创建文件夹

hadoop分发

1. cd /export/server/
3. scp -r jdk1.8.0_321/ hadoop2:`pwd`
5. scp -r jdk1.8.0_321/ hadoop3:`pwd`
7. cd /etc
9. scp -r profile hadoop2:`pwd`
11. scp -r profile hadoop3:`pwd`

复制代码

hadoop2,3

1. source /etc/profile
3. rm -f /usr/bin/java
4. ln -s /export/server/jdk/bin/java /usr/bin/java

复制代码

hadoop

上传息争压

1. cd /export/server
3. tar -zxvf hadoop-3.3.6.tar.gz
5. ln -s hadoop-3.3.6 hadoop

复制代码

hadoop设置

worksers

1. hadoop1
3. hadoop2
5. hadoop3

复制代码

hdfs-site.xml

1. <property>
2. <name>dfs.namenode.http-address</name>
3. <value>0.0.0.0:9870</value>
4. <description> The address and the base port where the dfs namenode web ui will listen on.
5. </description>
6. </property>
7. <property>
8. <name>dfs.datanode.data.dir.perm</name>
9. <value>700</value>
10. </property>
11. <property>
12. <name>dfs.namenode.name.dir</name>
13. <value>/data/nn</value>
14. </property>
15. <property>
16. <name>dfs.namenode.hosts</name>
17. <value>hadoop1,hadoop2,hadoop3</value>
18. </property>
19. <property>
20. <name>dfs.blocksize</name>
21. <value>268435456</value>
22. </property>
23. <property>
24. <name>dfs.namenode.handler.count</name>
25. <value>100</value>
26. </property>
27. <property>
28. <name>dfs.datanode.data.dir</name>
29. <value>/data/dn</value>
30. </property>

复制代码

core-site.xml

1. <property>
2. <name>fs.defaultFS</name>
3. <value>hdfs://hadoop1:8020</value>
4. </property>
5. <property>
6. <name>io.file.buffer.size</name>
7. <value>131072</value>
8. </property>

复制代码

hadoop-env.sh

1. export JAVA_HOME=/export/server/jdk
2. export HADOOP_HOME=/export/server/hadoop
3. export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
4. export HADOOP_LOG_DIR=$HADOOP_HOME/logs

复制代码

yarn-site.xml

1. <!-- Site specific YARN configuration properties -->
2. <property>
3.     <name>yarn.log.server.url</name>
4.     <value>http://hadoop1:19888/jobhistory/logs</value>
5.     <description></description>
6. </property>
8.   <property>
9.     <name>yarn.web-proxy.address</name>
10.     <value>hadoop1:8089</value>
11.     <description>proxy server hostname and port</description>
12.   </property>
15.   <property>
16.     <name>yarn.log-aggregation-enable</name>
17.     <value>true</value>
18.     <description>Configuration to enable or disable log aggregation</description>
19.   </property>
21.   <property>
22.     <name>yarn.nodemanager.remote-app-log-dir</name>
23.     <value>/tmp/logs</value>
24.     <description>Configuration to enable or disable log aggregation</description>
25.   </property>
28. <!-- Site specific YARN configuration properties -->
29.   <property>
30.     <name>yarn.resourcemanager.hostname</name>
31.     <value>hadoop1</value>
32.     <description></description>
33.   </property>
35.   <property>
36.     <name>yarn.resourcemanager.scheduler.class</name>
37.     <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
38.     <description></description>
39.   </property>
41.   <property>
42.     <name>yarn.nodemanager.local-dirs</name>
43.     <value>/data/nm-local</value>
44.     <description>Comma-separated list of paths on the local filesystem where intermediate data is written.</description>
45.   </property>
47.   <property>
48.     <name>yarn.nodemanager.log-dirs</name>
49.     <value>/data/nm-log</value>
50.     <description>Comma-separated list of paths on the local filesystem where logs are written.</description>
51.   </property>
53.   <property>
54.     <name>yarn.nodemanager.log.retain-seconds</name>
55.     <value>10800</value>
56.     <description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
57.   </property>
59.   <property>
60.     <name>yarn.nodemanager.aux-services</name>
61.     <value>mapreduce_shuffle</value>
62.     <description>Shuffle service that needs to be set for Map Reduce applications.</description>
63.   </property>
65. <!-- 是否需要开启Timeline服务 -->
66. <property>
67. <name>yarn.timeline-service.enabled</name>
68. <value>true</value>
69. </property>
70. <!-- Timeline Web服务的主机，通过8188端⼝访问 -->
71. <property>
72. <name>yarn.timeline-service.hostname</name>
73. <value>hadoop1</value>
74. </property>
75. <!-- 设置ResourceManager是否发送指标信息到Timeline服务 -->
76. <property>
77. <name>yarn.system-metrics-publisher.enabled</name>
78. <value>false</value>
79. </property>

复制代码

mapred-site.xml

1. <property>
2.     <name>mapreduce.framework.name</name>
3.     <value>yarn</value>
4.     <description></description>
5.   </property>
7.   <property>
8.     <name>mapreduce.jobhistory.address</name>
9.     <value>hadoop1:10020</value>
10.     <description></description>
11.   </property>
14.   <property>
15.     <name>mapreduce.jobhistory.webapp.address</name>
16.     <value>hadoop1:19888</value>
17.     <description></description>
18.   </property>
21.   <property>
22.     <name>mapreduce.jobhistory.intermediate-done-dir</name>
23.     <value>/data/mr-history/tmp</value>
24.     <description></description>
25.   </property>
27.   <property>
28.     <name>mapreduce.jobhistory.done-dir</name>
29.     <value>/data/mr-history/done</value>
30.     <description></description>
31.   </property>
32. <property>
33.   <name>yarn.app.mapreduce.am.env</name>
34.   <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
35. </property>
36. <property>
37.   <name>mapreduce.map.env</name>
38.   <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
39. </property>
40. <property>
41.   <name>mapreduce.reduce.env</name>
42.   <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
43. </property>

复制代码

环境变量设置

1. vim /etc/profile
4. export HADOOP_HOME=/export/server/hadoop
6. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

复制代码

分发hadoop到 主机2，3

发送hadoop

1. cd /export/server/
3. scp -r hadoop-3.3.6/ hadoop2:`pwd`
5. scp -r hadoop-3.3.6/ hadoop3:`pwd`

复制代码

发送环境变量

1. cd /etc
3. scp -r profile hadoop2:`pwd`
5. scp -r profile hadoop2:`pwd`

复制代码

其他设置

hadoop2,3分别创建软连接

1. cd /export/server/
3. ln -s hadoop-3.3.6/ hadoop

复制代码

革新环境变量

1. source /etc/peorfile
3. hadoop version

复制代码

hadoop权限设置

主机 123 都执行： 以 root 权限 给 hadoop 用户设置相关权限

1. mkdir -p /data/nn
3. mkdir -p /data/dn
5. chown -R hadoop:hadoop /data
7. chown -R hadoop:hadoop /export

复制代码

创建快照2

格式化与启动

1.切换用户hadoop

1. su - hadoop

复制代码

2.进行格式化

1. hdfs namenode -format

复制代码

3.启动!!!

一键启动：

1. start-all.sh

复制代码

分开启动：

1. start-dfs.sh
3. start-yarn.sh

复制代码

查看网页

zookeeper

上传与解压

1. cd /export/server/
3. tar -zxvf apache-zookeeper-3.9.1-bin.tar.gz
5. ln -s apache-zookeeper-3.9.1-bin zookeeper
7. rm -rf apache-zookeeper-3.9.1-bin.tar.gz

复制代码

设置

1. cd /export/server/zookeeper/conf/
3. cp zoo_sample.cfg zoo.cfg

复制代码

//修改 zoo.cfg 设置文件，将 dataDir=/data/zookeeper/data 修改为指定的data目录
vim zoo.cfg

1. dataDir=/export/server/zookeeper/zkData
3. server.2=hadoop1:2888:3888
4. server.1=hadoop2:2888:3888
5. server.3=hadoop3:2888:3888

复制代码

1. cd ..
3. mkdir zkData
5. vim myid

复制代码

分发和环境变量

环境变量

1. vim /etc/profile

复制代码

1. export ZOOKEEPER_HOME=/export/server/zookeeper
2. export PATH=$PATH:$ZOOKEEPER_HOME/bin

复制代码

分发

1. cd /etc
3. scp -r profile hadoop2:`pwd`
5. scp -r profile hadoop3:`pwd`
7. cd /export/server/
9. scp -r  apache-zookeeper-3.9.1-bin/ hadoop2:`pwd`
11. scp -r  apache-zookeeper-3.9.1-bin/ hadoop3:`pwd`

复制代码

hadoop2,3创建软连接

1. ln -s apache-zookeeper-3.9.1-bin/ zookeeper

复制代码

hadoop2,3修改内容

1. cd /export/server/zookeeper/zkData/

复制代码

hadoop1 修改为2
hadoop2 修改为1
hadoop3 修改为3

革新设置文件

1. source /etc/profile

复制代码

重新给权限

1. chown -R hadoop:hadoop /export

复制代码

启动（三个呆板都执行）

1. su - hadoop
3. bin/zkServer.sh start

复制代码

查看状态

1. bin/zkServer.sh status

复制代码

hbase

上传息争压

1. tar -zxvf hbase-2.5.5-hadoop3-bin.tar.gz
3. ln -s hbase-2.5.5-hadoop3 hbase
5. rm -rf hbase-2.5.5-hadoop3-bin.tar.gz

复制代码

设置

1. cd /export/server/hbase/conf/
3. mkdir -p /data/hbase/logs

复制代码

hbase-env.sh

1. export JAVA_HOME=/export/server/jdk
2. export HBASE_MANAGES_ZK=false

复制代码

regionservers

backup-master

vim backup-master

hbase-site.xml

1.   <property>
2.     <name>hbase.cluster.distributed</name>
3.     <value>true</value>
4.   </property>
5. <property>
6.     <name>hbase.zookeeper.quorum</name>
7.     <value>hadoop1,hadoop2,hadoop3</value>
8.   </property>
9. <property>
10.     <name>hbase.rootdir</name>
11.     <value>hdfs://hadoop1:8020/hbase</value>
12.   </property>
14. <property>
15.   <name>hbase.wal.provider</name>
16.   <value>filesystem</value>
17. </property>

复制代码

分发和权限以及环境变量

环境变量

1. vim /etc/profile
2. export HBASE_HOME=/export/server/hbaseexport PATH=$PATH:$HBASE_HOME/bin

复制代码

分发

1. cd /export
3. scp -r hbase-2.5.5-hadoop3/ hadoop2:`pwd`
5. scp -r hbase-2.5.5-hadoop3/ hadoop3:`pwd`
7. hadoop2,3分别创建软连接
9. ln -s hbase-2.5.5-hadoop2/ hbase
11. ln -s hbase-2.5.5-hadoop3/ hbase
13. cd /etc
15. scp -r profile hadoop2:`pwd`
17. scp -r profile hadoop3:`pwd`
19. source  /etc/proflie

复制代码

权限（都执行）

1. chown -R hadoop:hadoop /export
2. chown -R hadoop:hadoop /data

复制代码

启动

1. su - hadoop
3. start-hbase

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。