论坛 › 数据仓库与分析 › 【Hadoop和Hbase集群配置】3台虚拟机、jdk+hadoop+hbase下载和安装、环境配

海哥 发表于 2024-12-15 22:00:07

【Hadoop和Hbase集群配置】3台虚拟机、jdk+hadoop+hbase下载和安装、环境配

目次
一、环境
二、虚拟机配置
三、 JDK、Hadoop、HBase的安装和配置
【安装和配置JDK】
【安装和配置Hadoop】
【安装和配置Hbase】
四、 Hadoop和HBase集群测试
【Hadoop启动测试】
【Hbase启动测试】

一、环境

OS: CentOS-7
JDK: v1.8.0_131
Hadoop: v2.7.6
Hbase: v1.3.1
（自行到官网下载）
二、虚拟机配置

1、下载和安装VMware和CentOS-7，创建和设置虚拟机，配置运行内存2G。硬盘存储空间20G，选取NAT网络适配器。设置root暗码和创建用户，进入虚拟机终端，在终端执行sudo passwd root，可重新设置用户暗码，利用su root下令登录root用户。
https://i-blog.csdnimg.cn/direct/7bee3e6686a94dbaaaec25daae67b7fb.png
 2、克隆虚拟机，三台虚拟机分别命名为Hadoop1、Hadoop2、Hadoop3。
https://i-blog.csdnimg.cn/direct/50f78462e6bf4336b5374c2c091ece97.png
https://i-blog.csdnimg.cn/direct/dc447f5e60e44072923ba533e2d39b2e.png
 3、进行linux体系网络配置，vi /etc/hostname修改主机名（以下只截了Hadoop2的图）。
https://i-blog.csdnimg.cn/direct/efc75e6af18244a584c61291c2042cdb.png

https://i-blog.csdnimg.cn/direct/a2c425d3ba9540dabf5f37820c623755.png
4、 查看虚拟网络编辑器，确认起始和终止IP地址（看自己的，不要照抄），我的起始ip地址为192.168.204.128，因此3个虚拟机的IP地址可以设置为：
192.168.204.134 Hadoop1
192.168.204.135 Hadoop2
192.168.204.136 Hadoop3
https://i-blog.csdnimg.cn/direct/224458765af0452a9044b289a4ab74f9.png
https://i-blog.csdnimg.cn/direct/1427dcb5f02c494b91eb4bb53afe5729.png
 5、分别在虚拟机Hadoop1、Hadoop2、Hadoop3中执行vi /etc/hosts，添加ip映射，在文件中添加上述的3个虚拟机IP地址。
https://i-blog.csdnimg.cn/direct/e6bfb328f80c4348a5a9abaf183aeab9.png
6、修改虚拟机网卡配置，进入vi /etc/udev/rules.d/70-persistent-net.rules后添加如下内容。
https://i-blog.csdnimg.cn/direct/742bccc6cab7414b9c750b6a8718cd58.png
7、修改静态ip地址，进入vi /etc/sysconfig/network-scripts/ifcfg-ens33后添加如下内容（MAC地址在“虚拟机设置”-“网络适配器”-“高级”中查看）。
https://i-blog.csdnimg.cn/direct/85f21c5c0bf44fb78f1191e782d1fdb2.png

HWADDR=(MAC地址)
IPADDR=192.168.204.135（该虚拟机IP地址）
GATEWAY=192.168.204.2
NETMASK=255.255.255.0
DNS1=8.8.8.8
https://i-blog.csdnimg.cn/direct/fb8cd7b0b48d48899ab66a3dab77a9fd.png
8、reboot重启体系
https://i-blog.csdnimg.cn/direct/f0fed566525442b29e0e770ac86d7028.png
9、检验乐成用ping 虚拟机名测试（显示出Hadoop2的IP地址192.168.204.135），Ctrl C停止
https://i-blog.csdnimg.cn/direct/524f13a866a345c5862bd3c36f02d677.png
10、检测网络毗连，保证个人盘算机连网状态，执行ping www.baidu.com下令，检测虚拟机网络毗连是否正常。
https://i-blog.csdnimg.cn/direct/ec8cc493801b449aa177469524304c4c.png
11、看是否安装和开启SSH服务，分别执行“rpm -qa | grep ssh”和“ps -ef | grep sshd”下令，查看当前虚拟机是否安装了SSH服务，以及SSH服务是否启动。
https://i-blog.csdnimg.cn/direct/b2f2f2d93e254835aecf55c74b7fa65d.png
注：已重复Hadoop1和Hadoop3如上流程，完成网络配置，截图已忽略。
12、重启ssh服务，systemctl restart sshd下令（忘记截图），利用远程毗连工具SecureCRT。在SecureCRT主界面依次单击“File”-“Quick Connect”选项进入Quick Connect对话框创建快速毗连，输入虚拟机对应的ip地址和用户名及暗码（以下为毗连Hadoop2截图）。
https://i-blog.csdnimg.cn/direct/854562cc90b749d4b2e6f4e388a0e2fc.png
https://i-blog.csdnimg.cn/direct/f52842394d324ab4a8002ff4d028d465.png
https://i-blog.csdnimg.cn/direct/041476325ca146278b9e056531a87a13.png
13、配置ssh免密登录（3个虚拟机都操纵）：起首执行“systemctl restart sshd”下令，生成密钥，接着执行“cd /root/.ssh/”下令进入存储密钥文件的目次，在该目次下执行“ll”下令查看密钥文件，然后将生成的公钥文件复制到集群中相干联的全部虚拟机，实现通过虚拟机Hadoop2可以免密登录虚拟机Hadoop1、Hadoop2和Hadoop3。
https://i-blog.csdnimg.cn/direct/22d3b80d94ca45d9be71919da312a40c.png
https://i-blog.csdnimg.cn/direct/ce212d9afaaf4260933eadf535b2a2f3.png
Hadoop1：ssh-copy-id hadoop1
https://i-blog.csdnimg.cn/direct/055971a97ec2480ba0db84d71d48aa35.png
Hadoop2：ssh-copy-id hadoop2
https://i-blog.csdnimg.cn/direct/8bb01d46af644abb995230ead09151c0.png
Hadoop3：ssh-copy-id hadoop3
https://i-blog.csdnimg.cn/direct/4a240fee56194835bd04b60a80444bba.png
14、三个虚拟机分别执行ssh Hadoop1/2/3（除了自己），检验是否乐成设置免密登录。
Hadoop1免密登录Hadoop2和Hadoop3
https://i-blog.csdnimg.cn/direct/725059f89f61427aa9184a0c057512d7.png
Hadoop2免密登录Hadoop1、Hadoop3
https://i-blog.csdnimg.cn/direct/ed8b529492ff4ccd9259652e2cfc0e5b.png
Hadoop3免密登录Hadoop1、Hadoop2
https://i-blog.csdnimg.cn/direct/5696827d4e024ad7a2c03d7ca1472d4d.png
15、 关闭防火墙，执行systemctl stop firewalld与systemctl disable firewalld两条下令。
https://i-blog.csdnimg.cn/direct/6a748d2eb8b048e9afe46ebd7093a3f2.png
三、 JDK、Hadoop、HBase的安装和配置

1、创建目次，依次在虚拟机Hadoop1、Hadoop2和Hadoop3的根目次下创建以下目次：
创建存放数据的目次：mkdir -p /export/data/
创建存放安装程序的目次：mkdir -p /export/servers/
创建存放安装包的目次：mkdir -p /export/software/
https://i-blog.csdnimg.cn/direct/da6272ebe1db4b0c81c937df14f07eac.png
https://i-blog.csdnimg.cn/direct/6ee221b134884df785ae04d6c9e9bafd.png
https://i-blog.csdnimg.cn/direct/24bc3943e4f24bcf9a924bfc5cb3c50b.png
【安装和配置JDK】

2、上传JDK安装包
在虚拟机Hadoop1 的/export/software目次执行rz下令，将JDK安装包上传，执行ll下令，查看该目次包含的内容,确认是否上传乐成。
https://i-blog.csdnimg.cn/direct/1be3fd87fe214220b38075ac3c4f82a1.png
https://i-blog.csdnimg.cn/direct/bac8e4ac0c094dc0917d37380b6f3e71.png
3、解压JDK，将JDK安装到/export/servers目次。
tar -zxvf jdk-8u131-linux-x64.tar.gz -C /export/servers/
https://i-blog.csdnimg.cn/direct/74b616c5fbca4a8997cf6d513d964b24.png
4、切换目次进入/etc/servers，配置jdk环境变量，执行vi /etc/profile下令进入编辑环境变量的文件profile，添加以下内容。
https://i-blog.csdnimg.cn/direct/e1b1dba387c24c82a18a08caa5f47844.png
export JAVA_HOME=/export/servers/jdk1.8.0_131
export PATH=$PATH:$JAVA_HOME/bin
https://i-blog.csdnimg.cn/direct/8b3b1a2df7b24952b05ed00e40662c8f.png
5、profile生存退出后，利用source /etc/profile下令初始化体系环境变量，执行java -version下令查看JDK版本号，验证当前虚拟机是否乐成安装JDK。（此处不知为何显示的版本号是1.8.0_262而不是1.8.0_131，因为对后续操纵没影响我就没去管了）。
https://i-blog.csdnimg.cn/direct/7aef78562f5546e3a91d4623d62f4382.png
6、通过scp下令将虚拟机Hadoop1的JDK安装目次分发至虚拟机Hadoop2和Hadoop3的/export/servers/目次。
向虚拟机Hadoop2分发JDK安装目次：
scp -r /export/servers/jdk  root@hadoop2:/export/servers/
https://i-blog.csdnimg.cn/direct/0b6293a34bd145e3bb71533559163a3a.png
向虚拟机Hadoop3分发JDK安装目次
scp -r /export/servers/jdk  root@hadoop3:/export/servers/
https://i-blog.csdnimg.cn/direct/1a6e10078d424d6da611cb1bf26cfcf3.png
7、通过scp下令将虚拟机Hadoop1的体系环境变量文件profile分发至虚拟机Hadoop2和Hadoop3的/etc目次，并初始化环境变量。
向虚拟机Hadoop2分发体系环境变量文件
scp /etc/profile root@hadoop2:/etc
向虚拟机Hadoop3分发体系环境变量文件
scp /etc/profile root@hadoop3:/etc
https://i-blog.csdnimg.cn/direct/d7e4e1cbfbe345c4bdd29a7116ad775f.png

【安装和配置Hadoop】

8、Hadoop集群部署模式（完全分布式模式），cd /export/software/进入software目次，执行rz下令上传Hadoop安装包，ll显示，验证安装是否乐成。
https://i-blog.csdnimg.cn/direct/0ebbeed1619248a8afb7d113e53e8e0b.png
9、解压安装Hadoop，将Hadoop安装到虚拟机Hadoop1的/export/servers目次。
tar -zxvf /export/software/hadoop-2.7.6.tar.gz -C /export/servers
https://i-blog.csdnimg.cn/direct/b2ecd0b3beb4482cba12b0303b87d4e1.png
10、配置Hadoop体系环境变量，执行vi /etc/profile下令进入profile，添加以下内容。生存退出后初始化环境变量。
https://i-blog.csdnimg.cn/direct/bf538675a02548e58c2a07f9c773b446.png
export HADOOP_HOME=/export/servers/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
https://i-blog.csdnimg.cn/direct/a277e65784e8481c8df70cddd153f953.png
11、执行Hadoop version下令查看当前虚拟机Hadoop版本号，验证环境变量是否配置乐成。
https://i-blog.csdnimg.cn/direct/2b1f34594885490a83020b0eac93b2ba.png
12、配置Hadoop运行环境，切换到Hadoop目次下，执行vi hadoop-env.sh下令进入文件，添加以下内容。
https://i-blog.csdnimg.cn/direct/4091e28dbbdc4d619ab08081f1a5a341.png
export JAVA_HOME=/export/servers/jdk1.8.0_131
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
https://i-blog.csdnimg.cn/direct/44029d8c995545c2abb4769e4abf428d.png
13、配置Hadoop，执行vi core-site.xml下令进入文件，添加以下内容。
https://i-blog.csdnimg.cn/direct/995e8c8308474cbcbf874d6cc0c2cc65.png
 <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop1:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/export/data/hadoop-3.1.3</value>
</property>
<property>
   <name>hadoop.http.staticuser.user</name>
   <value>root</value>
</property>

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>
<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>
https://i-blog.csdnimg.cn/direct/82d959b03f5c4542b9f7f30f55f8013c.png
14、配置HDFS，执行vi hdfs-site.xml下令进入文件，添加以下内容。
https://i-blog.csdnimg.cn/direct/83d5ea055a834a138f9a58b9300e5c13.png
 <property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop2:9868</value>
</property>
https://i-blog.csdnimg.cn/direct/50f93cf28f264267bb9815cf713728fa.png
15、配置MapReduce，执行vi mapred-site.xml下令进入文件，添加以下内容。
https://i-blog.csdnimg.cn/direct/37384f0fcbef463cae1a174a98cfb3cb.png
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop1:10020</value>
</property>
<property>
   <name>mapreduce.jobhistory.Webapp.address</name>
    <value>hadoop1:19888</value>
</property>
<property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
    <name>mapreduce.reduce.env</name>
 <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
https://i-blog.csdnimg.cn/direct/3bd5945253fb4d2391436c51ea4a683b.png
16、配置YARN，执行vi yarn-site.xml下令进入文件，添加以下内容。
https://i-blog.csdnimg.cn/direct/b29250f79d404aba9bbc094038333b8a.png
 <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop1</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop1:19888/jobhistory/logs</value>
</property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
https://i-blog.csdnimg.cn/direct/45f84a925df64860995c7eb708e4a1cf.png
17、配置Hadoop从节点服务器，执行vi workers下令，将workers文件默认的内容修改为如下内容。
https://i-blog.csdnimg.cn/direct/1d8c1fd8ee24444aade91c2b10a106f1.png
https://i-blog.csdnimg.cn/direct/9ae76995e80e4c208e136fac7b94b45b.png
18、分发Hadoop安装目次，利用scp下令将虚拟机Hadoop1的Hadoop安装目次分发至虚拟机Hadoop2和Hadoop3中存放安装程序的目次。
向虚拟机Hadoop2中分发存放安装程序的目次
scp -r /export/servers/hadoop-3.1.3 root@hadoop2:/export/servers/
https://i-blog.csdnimg.cn/direct/47b2cf4445034ec9bb8efcaf764699b1.png
向虚拟机Hadoop3中分发存放安装程序的目次
scp -r /export/servers/hadoop-3.1.3 root@hadoop3:/export/servers/
https://i-blog.csdnimg.cn/direct/4270a3bfd0ad4094b4acc0235d905a17.png
19、分发环境变量，利用scp下令将虚拟机Hadoop1的体系环境变量文件profile分发至虚拟机Hadoop2和Hadoop3的/etc目次。
向虚拟机Hadoop2中分发/etc目次
 scp /etc/profile root@hadoop2:/etc
向虚拟机Hadoop3中分发/etc目次
 scp /etc/profile root@hadoop3:/etc
https://i-blog.csdnimg.cn/direct/148552986abf4c1a937e5f4cd9bd7ae2.png
【安装和配置Hbase】

20、安装hbase，利用rz下令上传hbase安装包（忘记截图了），ll下令显示验证安装是否乐成，
https://i-blog.csdnimg.cn/direct/14c878b807f34216b611a603f0287b13.png
21、解压安装hbase，将hbase安装到虚拟机Hadoop1的/export/servers目次。
https://i-blog.csdnimg.cn/direct/8a2cfc0cd556487498fc5e8b7550dff3.png
22、配置hbase体系环境变量，执行vi /etc/profile下令进入profile，添加以下内容（最后两条）。生存退出后初始化环境变量。
https://i-blog.csdnimg.cn/direct/177d5d6af8f649f5b8cfa7334215ff44.png
https://i-blog.csdnimg.cn/direct/78a121f43619481cbfc579b202691d94.png
https://i-blog.csdnimg.cn/direct/df355e0e6c3f4b1e8ee4ebe2835df2e5.png
23、利用yum下令安装对应的openjdk_devel。
https://i-blog.csdnimg.cn/direct/878925bb2522437981c479346ec01aa3.png
https://i-blog.csdnimg.cn/direct/3fb30d5f3ad246df9e5102d0b40d6365.png
24、执行hbase version下令查看当前虚拟机hbase版本号，验证环境变量是否配置乐成。
https://i-blog.csdnimg.cn/direct/1298dede97764f80a616217c8d10bb2b.png
25、进入/export/servers/hbase-1.3.1/conf目次，修改配置文件hbase-env.sh，添加如下信息。
https://i-blog.csdnimg.cn/direct/1d991af17cad4fed830c7c8cdd9dfc93.png
export JAVA_HOME=/export/servers/jdk1.8.0_131
export HBASE_MANAGES_ZK=true
export HBASE_CLASSPATH=/export/servers/hadoop-2.7.6/etc/hadoop 
https://i-blog.csdnimg.cn/direct/2613f0fd63544668aa3a3639a629fd13.png
26、修改配置文件hbase-site.xml，添加如下信息（具体的名称和ip地址要改成自己的，不能照抄）
https://i-blog.csdnimg.cn/direct/d6f14a0952e94a8da9ef8461f97155c4.png
  <property>
                <name>hbase.rootdir</name>
                <value>hdfs://192.168.204.134:9000/hbase</value>
                <description>The directory shared by regionservers.</description>
        </property>
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
        <property>
                <name>hbase.tmp.dir</name>
                <value>./tmp</value>
        </property>
        <property>
                <name>hbase.unsafe.stream.capability.enforce</name>
                <value>false</value>
        </property>
        <property>
                <name>hbase.master</name>
                <value>hdfs://192.168.204.134:60000</value>
        </property>
        <property>
                <name>hbase.master.maxclockskew</name>
                <value>180000</value>
        </property>
        <property>
                <name>hbase.zookeeper.property.dataDir</name>
                <value>/export/zookeeper</value>
        </property>
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>192.168.204.134,192.168.204.135,192.168.204.136</value>
        </property>
https://i-blog.csdnimg.cn/direct/3072069aa7b240219121d42678c87654.png
27、通过scp下令将虚拟机Hadoop1的hbase安装目次分发至虚拟机Hadoop2和Hadoop3的/export/servers/目次。
向虚拟机Hadoop2分发hbase安装目次：
https://i-blog.csdnimg.cn/direct/b4387419cf1047539be6b5024a929d07.png
向虚拟机Hadoop3分发hbase安装目次：
https://i-blog.csdnimg.cn/direct/58010d680d39447885b0308d6e393be4.png
28、通过scp下令将虚拟机Hadoop1的体系环境变量文件profile分发至虚拟机Hadoop2和Hadoop3的/etc目次，并初始化环境变量。
向虚拟机Hadoop2分发体系环境变量文件
scp /etc/profile root@hadoop2:/etc
向虚拟机Hadoop3分发体系环境变量文件
scp /etc/profile root@hadoop3:/etc
https://i-blog.csdnimg.cn/direct/de4c08ec092c4499862262199bc98e61.png
四、 Hadoop和HBase集群测试

【Hadoop启动测试】

1、在虚拟机Hadoop1执行“hdfs namenode -format”下令，对基于完全分布式模式部署的Hadoop进行格式化HDFS文件体系的操纵。
https://i-blog.csdnimg.cn/direct/84975b898b294db58f2ee930b2c525c2.png
2、启动Hadoop，执行start-dfs.sh
https://i-blog.csdnimg.cn/direct/9046b9f2638a4099a6923144c0627922.png
3、启动yarn，执行start-yarn.sh
https://i-blog.csdnimg.cn/direct/56fb66a3e3744405800dc94af53b77b7.png
4、查看Hadoop运行状态：分别在虚拟机Hadoop1、Hadoop2和Hadoop3执行“jps”下令查看Hadoop运行状态。
https://i-blog.csdnimg.cn/direct/7a2a4ae7dbce41dfa890048f2070edbe.png
https://i-blog.csdnimg.cn/direct/0747e4df6bb44440a59cb9be405c000f.png
https://i-blog.csdnimg.cn/direct/2e6240c28da94ab19732617ffc111e20.png
5、关闭Hadoop和YARN.，执行stop-dfs.sh和stop-yarn.sh
https://i-blog.csdnimg.cn/direct/3b5c6f7af18c401ca75edb3cee1a5cb9.png
【Hbase启动测试】

1、启动Hbase。执行start-hbase.sh
https://i-blog.csdnimg.cn/direct/aff1668ec17741a7875926dae35ad153.png
2、查看Hbase运行状态：分别在虚拟机Hadoop1、Hadoop2和Hadoop3执行“jps”下令查看。
https://i-blog.csdnimg.cn/direct/47f794a5ef894c35941c8f6ef1a7e69e.png
https://i-blog.csdnimg.cn/direct/371fdc3f881048988cff996397c953ef.png
https://i-blog.csdnimg.cn/direct/59f32da546834723a7c4a27dba285eec.png

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

查看完整版本: 【Hadoop和Hbase集群配置】3台虚拟机、jdk+hadoop+hbase下载和安装、环境配