ToB企服应用市场:ToB评测及商务社交产业平台

标题: 【傻瓜式教程】Windows下安装Hive MySQL版【附安装Hadoop教程】全网最详细 [打印本页]

作者: 海哥 时间: 2022-6-25 22:08
标题: 【傻瓜式教程】Windows下安装Hive MySQL版【附安装Hadoop教程】全网最详细
大家早上好，本人姓吴，如果觉得文章写得还行的话也可以叫我吴老师。欢迎大家跟我一起走进数据分析的世界，一起学习！
感兴趣的朋友可以关注我或者我的数据分析专栏，里面有许多优质的文章跟大家分享哦。

一定要先看的前言

几个注意事项：

本篇博客会提供所有安装需要的资源，大家下载我提供的资料就好，避免如版本不对应等不必要的问题出现；
在安装过程中会涉及一些环境配置，希望大家解压的目录地址最好和我的一样，这样既可以直接复制我提供的文本信息，也可以避免粗心导致的问题；
本篇博客会提供所有大家需要更改的文本，大家直接复制即可，不要自己手打了；
没装JDK的朋友可以先安装完再来。

1 安装Hadoop

1.1 下载并解压资源

链接：https://pan.baidu.com/s/1gSo09Tv8GytCt6dwCr3JNA
提取码：1024
下载完如下图解压即可，注意我这里是直接解压到E盘。

补充：原有的hadoop-2.7.7/bin目录下没有文件是winutils和hadoop.dll文件的，需要下载hadooponwindows-master并将其bin覆盖原先的bin，这里我提供的资源是已经覆盖了的，可省略该操作。
1.2 配置系统变量和环境变量

1.2.1 系统变量

变量名：HADOOP_HOME
变量值：E:Hadoophadoop-2.7.7

1.2.2 环境变量

环境变量值：%HADOOP_HOME%in
1.2.3测试

打开CMD，输入hadoop，如下图则为配置成功。

1.3 复制文件

将E:Hadoophadoop-2.7.7in目录下的hadoop.dll复制到E:Hadoophadoop-2.7.7sbin以及C:WindowsSystem32这两个目录下。

1.4 修改配置文件

1.4.1 创建目录

修改之前先创建以下几个空目录：
E:Hadoophadoop-2.7.7data
E:Hadoophadoop-2.7.7datadfs
E:Hadoophadoop-2.7.7datadfsdatanode
E:Hadoophadoop-2.7.7datadfs amenode

1.4.2 修改5个文件

第一个是E:Hadoophadoop-2.7.7etchadoop下的core-site.xml文件。
打开该文件，找到如下位置。

将红色部分的内容更改为如下内容：

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

复制代码

第二个是E:Hadoophadoop-2.7.7etchadoop下的hdfs-site.xml文件。
打开该文件，找到如下位置。

将红色部分的内容更改为如下内容，注意路径是否需要更改。

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>localhost:50070</value>
</property>
<property>
<name>dfs.namenode.dir</name>
<value>/E:/Hadoop/hadoop-2.7.7/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.name.dir</name>
<value>/E:/Hadoop/hadoop-2.7.7/data/dfs/datanode</value>
</property>
</configuration>

复制代码

第三个是E:Hadoophadoop-2.7.7etchadoop下的mapred-site.xml.template文件。
打开该文件，找到如下位置。

将红色部分的内容更改为如下内容。

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>

复制代码

改完记得将mapred-site.xml.template改名为mapred-site.xml。
第四个是E:Hadoophadoop-2.7.7etchadoop下的yarn-site.xml文件。
打开该文件，找到如下位置。

将红色部分的内容更改为如下内容。

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

复制代码

第五个是E:Hadoophadoop-2.7.7etchadoop下的hadoop-env.cmd文件。
因为是cmd文件，所以我是用UE打开的，当然了大家可以先把后缀改成txt，修改完再更改回来。
具体来说，就是在文件的最后添加如下语句。

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=E:JDK8

复制代码

这里的E:JDK8是我的JDK环境变量值，大家需要根据自己的进行更改，下图是查询方法。

1.5 格式化HDFS

打开CMD，输入hdfs namenode -format。

1.6 开启四个进程

以管理员身份打开CMD，切换到E:Hadoophadoop-2.7.7sbin目录下，输入命令：start-all.cmd

输入命令：jps测试是否开启成功。

1.7 测试Hadoop DFS

打开浏览器，在地址栏输入http://localhost:50070查看Hadoop状态

输入http://localhost:8088查看集群状态。

此时安装Hadoop成功。
2 安装Hive MySQL版本

2.1 下载并解压资源

官网下载：http://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz
其他下载方式：
链接：https://pan.baidu.com/s/1Or5Q5EwD-RBx5bLHzfpI-Q
提取码：1024
下载完之后，直接解压到E盘，如图。

紧接着是下载MySQL驱动。
官网下载：https://dev.mysql.com/downloads/file/?id=476197

其他下载方式：
链接：https://pan.baidu.com/s/1cl8SY-c4uFyL8MLPKtk6PA
提取码：1024
下载完后，也是直接解压到E盘。
解压完，将E:mysql-connector-java-5.1.46目录下的mysql-connector-java-5.1.46-bin.jar复制到E:apache-hive-2.1.1-binlib目录下，如图所示。

2.2 配置系统变量和环境变量

2.2.1 系统变量

变量名：HIVE_HOME
变量值：E:apache-hive-2.1.1-bin

2.2.2 环境变量

变量值： %HIVE_HOME%in

2.3 Hive config配置

如图，找到E:apache-hive-2.1.1-binconf目录下的4个文件。

按照如下方式进行更改：
hive-default.xml.template -> hive-site.xml
hive-env.sh.template -> hive-env.sh
hive-exec-log4j2.properties.template -> hive-exec-log4j2.properties
hive-log4j2.properties.template -> hive-log4j2.properties

2.4 创建目录

创建以下几个空目录：
E:apache-hive-2.1.1-binmy_hive
E:apache-hive-2.1.1-binmy_hiveoperation_logs_dir
E:apache-hive-2.1.1-binmy_hivequerylog_dir
E:apache-hive-2.1.1-binmy_hive esources_dir
E:apache-hive-2.1.1-binmy_hivescratch_dir

2.5 修改 hive-env.sh

找到E:apache-hive-2.1.1-binconf下的hive-env.sh文件。
找到下图中的位置：

将其替换为如下内容：

# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=E:Hadoophadoop-2.7.7
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=E:apache-hive-2.1.1-binconf
# Folder containing extra ibraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=E:apache-hive-2.1.1-binlib

复制代码

注意路径问题。
2.6 修改hive-site.xml

这里需要修改的较多，我直接把我已经修改好的文件上传到网盘上，大家下载即可。
链接：https://pan.baidu.com/s/1p3cGCpRn7UUW96icyfUxEA
提取码：1024
这里需要注意的是，
你的Hive的解压路径是否和我一样，不一样就得更改，一共是4处。

然后还有连接数据库的问题，账号是否为root，密码是否为123456，端口是否为3306，如果不一样，就需要更改，如下。

2.7 在Hadoop上创建HDFS目录

命令如下（记得先启动Hadoop）：
hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/
hadoop fs -mkdir /user/hive/
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse
如图：

2.8 创建MySQL数据库

使用命令的方式：

create database if not exists hive default character set latin1;

复制代码

或者用Navicat创建也可以。

2.9 启动Hadoop

以管理员身份打开CMD，切换到E:Hadoophadoop-2.7.7sbin命令下，输入命令start-dfs.cmd

2.10 启动Hive metastore服务

以管理员身份打开CMD，输入命令hive --service metastore

如果hive数据库下出现了许多表，则开启成功。

补充：只有第一次打开需要输入hive --service metastore。
2.11 启动Hive

打开CMD，输入命令hive.cmd

这个时候就可以输入HQL语句啦。
我们输入一个create table stu(id int, name string)

然后再浏览器地址栏输入：http://localhost:50070/explorer.html#/user/hive/warehouse

创建表成功！
结束语

我已经尽可能地将安装过程详细地展现出来了，如果还是有问题的朋友，可以评论留下你的问题。
参考资料：
https://blog.csdn.net/qinlan1994/article/details/90413243
https://blog.csdn.net/chy2z/article/details/80974294
想接触数据分析实战项目和技能学习，可以关注我的数据分析专栏。
CSDN@报告，今天也有好好学习

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)