ToB企服应用市场:ToB评测及商务社交产业平台

标题: 在完全分布式hadoop上摆设hbase [打印本页]

作者: 张春 时间: 2024-11-13 14:51
标题: 在完全分布式hadoop上摆设hbase

windows下搭建虚拟机

创建虚拟机

创建虚拟机

创建虚拟机

创建虚拟机

创建虚拟机

创建虚拟机

创建虚拟机

创建虚拟机

创建虚拟机

创建虚拟机

创建虚拟机

创建虚拟机

创建虚拟机

网络配置

查察是否有IP地址

修改网络配置

修改网段

重启网络

测试网络

虚拟机配置

修改主机名

hostnamectl set-hostname 主机名

映射

免密登录

1..生成密钥
三台虚拟机分别生成
ssh-keygen
2..复制移动密钥
#在master、slave1、slave2虚拟机中运行
ssh-copy-id master
3.然后再master中查察
cat ~/.ssh/authorized_keys

4.分发
在master中分发
scp -r ~/.ssh/authorized_keys slave1:~/.ssh/
scp -r ~/.ssh/authorized_keys slave2:~/.ssh/
分发完后，重复步骤3查察slave1与2中的情况
5.验证免密登录
ssh slave1
ssh slave2
ssh master

JDK的安装配置

将/soft下的JDK包解压到/usr/local/src路径，并修改名为jdk

mv jdk-8u181 jdk

2. 打开/etc/profile文件，配置并生效JDK环境变量

3. 验证JDK是否正确安装，利用java -version查询java版本号

4. 将/soft下的Hadoop包解压到/usr/local/src路径，并修改名为hadoop

mv hadoop-2.7.2 hadoop
5. 打开/etc/profile文件，配置并生效Hadoop环境变量

配置hadoop完全分布式集群

编辑/usr/local/src/hadoop/etc/hadoop/hadoop-env.sh配置文件

编辑/usr/local/src/hadoop/etc/hadoop/mapred-env.sh配置文件

编辑/usr/local/src/hadoop/etc/hadoop/yarn-env.sh配置文件

利用hadoop version下令查询hadoop版本

编辑/usr/local/src/hadoop/etc/hadoop/core-site.xml配置文件

编辑/usr/local/src/hadoop/etc/hadoop/hdfs-site.xml配置文件

编辑/usr/local/src/hadoop/etc/hadoop/mapred-site.xml配置文件

编辑/usr/local/src/hadoop/etc/hadoop/yarn-site.xml配置文件

编辑/usr/local/src/hadoop/etc/hadoop/slaves配置文件

将集群主节点master的/etc/profile文件、JDK安装目录和hadoop安装目录分发到slave1和slave2子节点，并刷新slave1、slave2的环境变量

scp -r /etc/profile slave1:/etc
scp -r /etc/profile slave2:/etc
scp -r /usr/local/src slave1:/usr/local
scp -r /usr/local/src slave2:/usr/local

验证是否分发乐成

12. 格式化
hdfs namenode -format

13. 启动hadoop集群

14. 在每台主机利用jps下令查察进程

15. 通过浏览器访问Hadoop

16. 通过浏览器访问yarn

六、hbase的安装配置
1. 将/soft下的HBase包解压到/usr/local/src路径，并修改名为hbase

mv hbase-2.4.9 hbase
2. 配置HBase环境变量，并刷新环境变量

source /etc/profile
3. 编辑/usr/local/src/hbase/conf/hbase-env.sh配置文件

4. 利用hbase version查询hbase版本号

5. 编辑/usr/local/src/hbase/conf/hbase-site.xml配置文件

6. 编辑/usr/local/src/hbase/conf/regionservers配置文件

7. 将集群主节点master的/etc/profile文件和hbase安装目录分发到slave1和slave2子节点，并刷新slave1、slave2的环境变量
scp -r /etc/profile slave1:/etc
scp -r /etc/profile slave2:/etc
scp -r /usr/local/src/hbase slave1:/usr/local/src
scp -r /usr/local/src/hbase slave2:/usr/local/src
七、zookeeper的安装配置
1. 将/soft下的Zookeeper包解压到/usr/local/src路径，并修改名为zookeeper

配置zookeeper的data文件

mkdir data
echo 1 > myid

修改配置文件中的zoo.cfg文件

cp zoo_sample.cfg zoo.cfg
vi zoo.cfg

配置Zookeeper的环境变量,并刷新环境变量

source /etc/profile

将集群主节点master的/etc/profile文件和zookeeper安装目录分发到slave1和slave2子节点，并刷新slave1、slave2的环境变量

scp -r /etc/profile slave1:/etc
scp -r /etc/profile slave2:/etc
scp -r /usr/local/src/zookeeper slave1:/usr/local/src
scp -r /usr/local/src/zookeeper slave2:/usr/localsrc

修改其他两个节点的myid

八、启动

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)