【傻瓜式教程】Windows下安装Hive MySQL版【附安装Hadoop教程】全网最详细
大家早上好,本人姓吴,如果觉得文章写得还行的话也可以叫我吴老师。欢迎大家跟我一起走进数据分析的世界,一起学习!感兴趣的朋友可以关注我或者我的数据分析专栏,里面有许多优质的文章跟大家分享哦。
目录
[*]一定要先看的前言
[*]1 安装Hadoop
[*]
[*]1.1 下载并解压资源
[*]1.2 配置系统变量和环境变量
[*]
[*]1.2.1 系统变量
[*]1.2.2 环境变量
[*]1.2.3测试
[*]1.3 复制文件
[*]1.4 修改配置文件
[*]
[*]1.4.1 创建目录
[*]1.4.2 修改5个文件
[*]1.5 格式化HDFS
[*]1.6 开启四个进程
[*]1.7 测试Hadoop DFS
[*]2 安装Hive MySQL版本
[*]
[*]2.1 下载并解压资源
[*]2.2 配置系统变量和环境变量
[*]
[*]2.2.1 系统变量
[*]2.2.2 环境变量
[*]2.3 Hive config配置
[*]2.4 创建目录
[*]2.5 修改 hive-env.sh
[*]2.6 修改hive-site.xml
[*]2.7 在Hadoop上创建HDFS目录
[*]2.8 创建MySQL数据库
[*]2.9 启动Hadoop
[*]2.10 启动Hive metastore服务
[*]2.11 启动Hive
[*]结束语
一定要先看的前言
几个注意事项:
[*]本篇博客会提供所有安装需要的资源,大家下载我提供的资料就好,避免如版本不对应等不必要的问题出现;
[*]在安装过程中会涉及一些环境配置,希望大家解压的目录地址最好和我的一样,这样既可以直接复制我提供的文本信息,也可以避免粗心导致的问题;
[*]本篇博客会提供所有大家需要更改的文本,大家直接复制即可,不要自己手打了;
[*]没装JDK的朋友可以先安装完再来。
1 安装Hadoop
1.1 下载并解压资源
链接:https://pan.baidu.com/s/1gSo09Tv8GytCt6dwCr3JNA
提取码:1024
下载完如下图解压即可,注意我这里是直接解压到E盘。
https://img-blog.csdnimg.cn/46e326f106d2442d8d8ca760278dc876.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_19,color_FFFFFF,t_70,g_se,x_16
补充:原有的hadoop-2.7.7/bin目录下没有文件是winutils和hadoop.dll文件的,需要下载hadooponwindows-master并将其bin覆盖原先的bin,这里我提供的资源是已经覆盖了的,可省略该操作。
1.2 配置系统变量和环境变量
1.2.1 系统变量
变量名:HADOOP_HOME
变量值:E:Hadoophadoop-2.7.7
https://img-blog.csdnimg.cn/90193491a6c7481caf7c18a74ffd6b24.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
1.2.2 环境变量
https://img-blog.csdnimg.cn/32639a46ce524aa4aa2537e8a229f282.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
环境变量值:%HADOOP_HOME%in
1.2.3测试
打开CMD,输入hadoop,如下图则为配置成功。
https://img-blog.csdnimg.cn/3b6d494ba994403fb8de495ea9a5c29a.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_15,color_FFFFFF,t_70,g_se,x_16
1.3 复制文件
将E:Hadoophadoop-2.7.7in目录下的hadoop.dll复制到E:Hadoophadoop-2.7.7sbin以及C:WindowsSystem32这两个目录下。
https://img-blog.csdnimg.cn/446ea3498e1e4196bbdde51af1623fd5.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_17,color_FFFFFF,t_70,g_se,x_16
https://img-blog.csdnimg.cn/df9464381e644d25a0ffbf07efedb9e8.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_17,color_FFFFFF,t_70,g_se,x_16
https://img-blog.csdnimg.cn/070f89d675eb42b8b7b2660fa21e9d7a.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_17,color_FFFFFF,t_70,g_se,x_16
1.4 修改配置文件
1.4.1 创建目录
修改之前先创建以下几个空目录:
E:Hadoophadoop-2.7.7data
E:Hadoophadoop-2.7.7datadfs
E:Hadoophadoop-2.7.7datadfsdatanode
E:Hadoophadoop-2.7.7datadfs amenode
https://img-blog.csdnimg.cn/a70b9f5360074af3bc990235d1cab5c8.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_15,color_FFFFFF,t_70,g_se,x_16
1.4.2 修改5个文件
第一个是E:Hadoophadoop-2.7.7etchadoop下的core-site.xml文件。
打开该文件,找到如下位置。
https://img-blog.csdnimg.cn/ade8a39cdf8241e19583bd2e7fd63d02.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_19,color_FFFFFF,t_70,g_se,x_16
将红色部分的内容更改为如下内容:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration> https://img-blog.csdnimg.cn/d64630b9abd7475fb3dc7e7b14ac33db.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
第二个是E:Hadoophadoop-2.7.7etchadoop下的hdfs-site.xml文件。
打开该文件,找到如下位置。
https://img-blog.csdnimg.cn/098250c4d9cc47d4abfb453128bb1ff1.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
将红色部分的内容更改为如下内容,注意路径是否需要更改。
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>localhost:50070</value>
</property>
<property>
<name>dfs.namenode.dir</name>
<value>/E:/Hadoop/hadoop-2.7.7/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.name.dir</name>
<value>/E:/Hadoop/hadoop-2.7.7/data/dfs/datanode</value>
</property>
</configuration> https://img-blog.csdnimg.cn/0460247d34684c70891af19c5ec30d6a.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
第三个是E:Hadoophadoop-2.7.7etchadoop下的mapred-site.xml.template文件。
打开该文件,找到如下位置。
https://img-blog.csdnimg.cn/a9fd442a88f7453aa1eecbb617f3992d.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
将红色部分的内容更改为如下内容。
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration> https://img-blog.csdnimg.cn/0e702cedfa25480a9eb2e596c04dd42c.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
改完记得将mapred-site.xml.template改名为mapred-site.xml。
第四个是E:Hadoophadoop-2.7.7etchadoop下的yarn-site.xml文件。
打开该文件,找到如下位置。
https://img-blog.csdnimg.cn/deb76b01a8704a0fb3de308ed99fa0b7.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
将红色部分的内容更改为如下内容。
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration> https://img-blog.csdnimg.cn/5e6929f8232940efaf95fa05b03a2f40.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
第五个是E:Hadoophadoop-2.7.7etchadoop下的hadoop-env.cmd文件。
因为是cmd文件,所以我是用UE打开的,当然了大家可以先把后缀改成txt,修改完再更改回来。
具体来说,就是在文件的最后添加如下语句。
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=E:JDK8 https://img-blog.csdnimg.cn/672d03420580423cb98533df076456cb.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
这里的E:JDK8是我的JDK环境变量值,大家需要根据自己的进行更改,下图是查询方法。
https://img-blog.csdnimg.cn/33ab2a8ba1c24902b49e3a33edfc3ea4.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
1.5 格式化HDFS
打开CMD,输入hdfs namenode -format。
https://img-blog.csdnimg.cn/fa9b1a89cb4740ef86e0de58811c91dd.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_14,color_FFFFFF,t_70,g_se,x_16
1.6 开启四个进程
以管理员身份打开CMD,切换到E:Hadoophadoop-2.7.7sbin目录下,输入命令:start-all.cmd
https://img-blog.csdnimg.cn/20b3ee1b3dfd4ac8bb6168be4b48602e.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_18,color_FFFFFF,t_70,g_se,x_16
https://img-blog.csdnimg.cn/914217ad02bf4fb4a3654c04e6e13305.png
输入命令:jps测试是否开启成功。
https://img-blog.csdnimg.cn/d56cfc7bea80448aa361f694730a24e7.png
1.7 测试Hadoop DFS
打开浏览器,在地址栏输入http://localhost:50070查看Hadoop状态
https://img-blog.csdnimg.cn/b65ee5b7811543acba6cca6c23521374.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
输入http://localhost:8088查看集群状态。
https://img-blog.csdnimg.cn/2adf9718c6a24a4d85b1863b705db97f.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
此时安装Hadoop成功。
2 安装Hive MySQL版本
2.1 下载并解压资源
官网下载:http://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz
其他下载方式:
链接:https://pan.baidu.com/s/1Or5Q5EwD-RBx5bLHzfpI-Q
提取码:1024
下载完之后,直接解压到E盘,如图。
https://img-blog.csdnimg.cn/821f1fca3e8446148e8b56fa7d53a10f.jpg?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_19,color_FFFFFF,t_70,g_se,x_16
紧接着是下载MySQL驱动。
官网下载:https://dev.mysql.com/downloads/file/?id=476197
https://img-blog.csdnimg.cn/9e5de83dede14f33aeadc648b8d4d0f0.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_19,color_FFFFFF,t_70,g_se,x_16
其他下载方式:
链接:https://pan.baidu.com/s/1cl8SY-c4uFyL8MLPKtk6PA
提取码:1024
下载完后,也是直接解压到E盘。
解压完,将E:mysql-connector-java-5.1.46目录下的mysql-connector-java-5.1.46-bin.jar复制到E:apache-hive-2.1.1-binlib目录下,如图所示。
https://img-blog.csdnimg.cn/22b7077dac11497fb884c24f7c9f5a6e.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_17,color_FFFFFF,t_70,g_se,x_16
https://img-blog.csdnimg.cn/c9ed1b479b864a3690497fd5d6128d17.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_17,color_FFFFFF,t_70,g_se,x_16
2.2 配置系统变量和环境变量
2.2.1 系统变量
变量名:HIVE_HOME
变量值:E:apache-hive-2.1.1-bin
https://img-blog.csdnimg.cn/5366012a504d41bca6383a1f80dc27d1.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_15,color_FFFFFF,t_70,g_se,x_16
2.2.2 环境变量
变量值: %HIVE_HOME%inhttps://img-blog.csdnimg.cn/db6ae4f1205248feaa58c7eb4ddd1e9a.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_14,color_FFFFFF,t_70,g_se,x_16
2.3 Hive config配置
如图,找到E:apache-hive-2.1.1-binconf目录下的4个文件。
https://img-blog.csdnimg.cn/b973e8ce4b514e889b9843a203d96872.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_16,color_FFFFFF,t_70,g_se,x_16
按照如下方式进行更改:
hive-default.xml.template -> hive-site.xml
hive-env.sh.template -> hive-env.sh
hive-exec-log4j2.properties.template -> hive-exec-log4j2.properties
hive-log4j2.properties.template -> hive-log4j2.properties
https://img-blog.csdnimg.cn/5b780b5b9b504ceeb246d39053841a32.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_16,color_FFFFFF,t_70,g_se,x_16
2.4 创建目录
创建以下几个空目录:
E:apache-hive-2.1.1-binmy_hive
E:apache-hive-2.1.1-binmy_hiveoperation_logs_dir
E:apache-hive-2.1.1-binmy_hivequerylog_dir
E:apache-hive-2.1.1-binmy_hive esources_dir
E:apache-hive-2.1.1-binmy_hivescratch_dir
https://img-blog.csdnimg.cn/20589bc5fbe148959486e40b313c9f03.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_8,color_FFFFFF,t_70,g_se,x_16
2.5 修改 hive-env.sh
找到E:apache-hive-2.1.1-binconf下的hive-env.sh文件。
找到下图中的位置:
https://img-blog.csdnimg.cn/011bfdd9c76e460bbe0434d60ec29ab8.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
将其替换为如下内容:
# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=E:Hadoophadoop-2.7.7
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=E:apache-hive-2.1.1-binconf
# Folder containing extra ibraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=E:apache-hive-2.1.1-binlib https://img-blog.csdnimg.cn/57b200065651411284d85eab9153c6d5.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
注意路径问题。
2.6 修改hive-site.xml
这里需要修改的较多,我直接把我已经修改好的文件上传到网盘上,大家下载即可。
链接:https://pan.baidu.com/s/1p3cGCpRn7UUW96icyfUxEA
提取码:1024
这里需要注意的是,
你的Hive的解压路径是否和我一样,不一样就得更改,一共是4处。
https://img-blog.csdnimg.cn/b4d5cd3fdfd44733a492fba6531f972f.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
https://img-blog.csdnimg.cn/ed8f9f4cc81b40d38e7a110cc750c64d.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
https://img-blog.csdnimg.cn/ee6942a44c6b49e6b01b37d422a0ff10.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
然后还有连接数据库的问题,账号是否为root,密码是否为123456,端口是否为3306,如果不一样,就需要更改,如下。
https://img-blog.csdnimg.cn/494f258b37924f16b948b63b3c4f8eeb.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
https://img-blog.csdnimg.cn/d9da303a352644be9f1cd4ca8c82381f.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
https://img-blog.csdnimg.cn/e33a4c94b3804890a1260723231e9477.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
2.7 在Hadoop上创建HDFS目录
命令如下(记得先启动Hadoop):
hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/
hadoop fs -mkdir /user/hive/
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse
如图:
https://img-blog.csdnimg.cn/b19a55d7213240f4bc6224f7d4b056bf.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_15,color_FFFFFF,t_70,g_se,x_16
2.8 创建MySQL数据库
使用命令的方式:
create database if not exists hive default character set latin1; 或者用Navicat创建也可以。
https://img-blog.csdnimg.cn/15a6e777792e4e079b40fd2028961b58.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
2.9 启动Hadoop
以管理员身份打开CMD,切换到E:Hadoophadoop-2.7.7sbin命令下,输入命令start-dfs.cmd
https://img-blog.csdnimg.cn/aee395d45ef6430fa9d2e64e96ec7b92.png
2.10 启动Hive metastore服务
以管理员身份打开CMD,输入命令hive --service metastore
https://img-blog.csdnimg.cn/9558d11cc85947349d3efdf2d448d071.png
如果hive数据库下出现了许多表,则开启成功。
https://img-blog.csdnimg.cn/c0fd86f66beb460892bddf26a32041fc.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_15,color_FFFFFF,t_70,g_se,x_16
补充:只有第一次打开需要输入hive --service metastore。
2.11 启动Hive
打开CMD,输入命令hive.cmd
https://img-blog.csdnimg.cn/e5745779c6ed4c0883a919008c620265.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
这个时候就可以输入HQL语句啦。
我们输入一个create table stu(id int, name string)
https://img-blog.csdnimg.cn/37861d2688344d3f94a164385192390b.png
然后再浏览器地址栏输入:http://localhost:50070/explorer.html#/user/hive/warehouse
https://img-blog.csdnimg.cn/85808d633a7646c49ed6535753504462.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5oql5ZGK77yM5LuK5aSp5Lmf5pyJ5aW95aW95a2m5Lmg,size_20,color_FFFFFF,t_70,g_se,x_16
创建表成功!
结束语
我已经尽可能地将安装过程详细地展现出来了,如果还是有问题的朋友,可以评论留下你的问题。
参考资料:
https://blog.csdn.net/qinlan1994/article/details/90413243
https://blog.csdn.net/chy2z/article/details/80974294
想接触数据分析实战项目和技能学习,可以关注我的数据分析专栏。
CSDN@报告,今天也有好好学习
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
页:
[1]