Hive单机版安装摆设

一、干系软件包下载地址：

CentOS-7-x86_64-DVD-2207-02.iso:
https://mirrors.tuna.tsinghua.edu.cn/centos/7/isos/x86_64/
jdk-8u181-linux-x64.tar.gz:
https://repo.huaweicloud.com/java/jdk/8u181-b13/
Hadoop:
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.4/
Mysql mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar:
https://downloads.mysql.com/archives/community/
Mysql-connector mysql-connector-java-5.1.47.tar.gz:
https://downloads.mysql.com/archives/c-j/
Hive:
https://dlcdn.apache.org/hive/hive-3.1.2/
XSHELL:
https://www.xshell.com/zh/free-for-home-school/
二、准备文件

在根目录下建立software文件夹：mkdir software
压缩文件传输到software文件夹中。
解压命令：
gz文件：tar -zxvf 文件名
Mysql文件: tar -xvf 文件名
文件夹改名：mv 源文件夹名 目标文件夹名
三、摆设JDK

打开配置文件：vi /etc/profile
在文件最下方添加：

1. export JAVA_HOME=/software/jdk
2. export PATH=$PATH:$JAVA_HOME/bin

复制代码

保存退出，使文件见效：source /etc/profile

查看java版本：java -version

四、摆设hadoop

打开配置文件：vi /etc/profile
在文件最下方添加：

1. export HADOOP_HOME=/software/hadoop
2. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

复制代码

保存退出，见效：source /etc/profile

查看hadoop版本： hadoop version

配置SSH免密：

1. ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_ke        ys
3. chmod 0600 ~/.ssh/authorized_keys

复制代码

进入/software/hadoop/etc/hadoop文件夹
Hadoop-env.sh在末了面加入：

1. export JAVA_HOME=/software/jdk
2. export HDFS_NAMENODE_USER=root
3. export HDFS_SECONDARYNAMENODE_USER=root
4. export HDFS_DATANODE_USER=root

复制代码

Yarn-env.sh末了面加入：

1. export YARN_REGISTRYDNS_SECURE_USER=root
2. export YARN_RESOURCEMANAGER_USER=root
3. export YARN_NODEMANAGER_USER=root

复制代码

修改core-site.xml:

1. <configuration>
2.     <property>
3.       <name>fs.defaultFS</name>
4.       <value>hdfs://localhost:9000</value>
5.     </property>
6.    
7.     <property>
8.       <name>hadoop.tmp.dir</name>
9.       <value>/opt/hadoop/tmp</value>
10.     </property>
11.        
12.     <property>
13.       <name>hadoop.proxyuser.root.hosts</name>
14.       <value>*</value>
15.     </property>
16.    
17.     <property>
18.       <name>hadoop.proxyuser.root.groups</name>
19.       <value>*</value>
20.     </property>       
21. </configuration>

复制代码

修改hdfs-site.xml:

1. <configuration>
2.     <property>
3.         <name>dfs.replication</name>
4.         <value>1</value>
5.     </property>
6. </configuration>

复制代码

修改mapred-site.xml:

1. <configuration>
2.     <property>
3.         <name>mapreduce.framework.name</name>
4.         <value>yarn</value>
5.     </property>
6.     <property>
7.         <name>mapreduce.application.classpath</name>
8.         <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
9.     </property>
10. </configuration>

复制代码

修改yarn-site.xml:

1. <configuration>
2.     <property>
3.         <name>yarn.nodemanager.aux-services</name>
4.         <value>mapreduce_shuffle</value>
5.     </property>
6.     <property>
7.         <name>yarn.nodemanager.env-whitelist</name>
8.         <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
9.     </property>
10. </configuration>

复制代码

格式化hadoop hdfs:

1. hdfs namenode -format

复制代码

启动：start-all.sh
查看启动进程：

五、摆设mysql

查询是否安装了mariadb

1. [root@localhost ~]# rpm -aq | grep mariadb

复制代码

列出信息
删除mariadb干系套件

1. [root@localhost ~]# rpm -e --nodeps mariadb-libs-后面加上面显示的版本号

复制代码

安装依赖：

1. yum install perl -y
2. yum install net-tools -y

复制代码

依次执行以下命令

1. rpm -ivh mysql-community-common-5.7.26-1.el7.x86_64.rpm
2. rpm -ivh mysql-community-libs-5.7.26-1.el7.x86_64.rpm
3. rpm -ivh mysql-community-libs-compat-5.7.26-1.el7.x86_64.rpm
4. rpm -ivh mysql-community-client-5.7.26-1.el7.x86_64.rpm
5. rpm -ivh mysql-community-server-5.7.26-1.el7.x86_64.rpm

复制代码

启动mysql:

1. systemctl start mysqld

复制代码

查看状态：

1. systemctl status mysqld

复制代码

生成临时暗码：

1. grep "temporary password" /var/log/mysqld.log

复制代码

使用临时暗码登录mysql:

1. mysql -uroot -p

复制代码

1. 设置密码强度为低级
2. mysql> set global validate_password_policy=0;
3. 设置密码长度为6
4. mysql> set global validate_password_length=6;
5. 修改本地密码
6. mysql> alter user'root'@'localhost'identified by '123456';
7. 设置满足任意主机节点root的远程访问权限（否则后续hive无法连接mysql）
8. mysql> grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
9. 刷新权限
10. mysql> flush privileges;

复制代码

六、摆设Hive

/etc/profile末了面加入：

1. export HIVE_HOME=/software/hive
2. export PATH=$PATH:$HIVE_HOME/bin

复制代码

刷新：

1. source /etc/profile

复制代码

进入配置文件夹：/software/hive/conf
cp hive-env.sh.template hive-env.sh
Hive-env.sh文件末了添加：

1. export JAVA_HOME=/software/jdk
2. export HADOOP_HOME=/software/hadoop
3. export HIVE_CONF_DIR=/software/hive/conf

复制代码

vi hive-site.xml
复制（IP修改为虚拟机IP）：

1. <configuration>
2.   <property>
3.     <name>javax.jdo.option.ConnectionURL</name>
4.     <value>jdbc:mysql://192.168.59.128:3306/hive?createDatabaseIfNotExist=true</value>
5.   </property>
6.   
7.   <property>
8.     <name>javax.jdo.option.ConnectionDriverName</name>
9.     <value>com.mysql.jdbc.Driver</value>
10.   </property>
11.   
12.   <property>
13.     <name>javax.jdo.option.ConnectionUserName</name>
14.     <value>root</value>
15.   </property>
17.   <property>
18.     <name>javax.jdo.option.ConnectionPassword</name>
19.     <value>123456</value>
20.   </property>
22.   <property>
23.     <name>hive.exec.local.scratchdir</name>
24.     <value>/tmp/hive</value>
25.   </property>
27.   <property>
28.     <name>hive.downloaded.resources.dir</name>
29.     <value>/tmp/${hive.session.id}_resources</value>
30.   </property>
32.   <property>
33.     <name>hive.querylog.location</name>
34.     <value>/tmp/hive</value>
35.   </property>
37.   <property>
38.     <name>hive.server2.logging.operation.log.location</name>
39.     <value>/tmp/hive/operation_logs</value>
40.   </property>
42.   <property>
43.     <name>hive.server2.enable.doAs</name>
44.     <value>FALSE</value>
45.   </property>  
46. </configuration>

复制代码

一些依赖包：

1. cp mysql-connector-java-5.1.47.jar /software/hive/lib/
2. mv /software/hive/lib/guava-19.0.jar{,.bak}
3. cp /software/hadoop/share/hadoop/hdfs/lib/guava-27.0-jre.jar /software/hive/lib/

复制代码

初始化：

1. schematool -dbType mysql -initSchema

复制代码

进入hive文件夹，启动hive:

1. bin/hive

复制代码

输入show databases;

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。