ToB企服应用市场:ToB评测及商务社交产业平台

标题: Centos7环境下Hive的安装 [打印本页]
作者: 罪恶克星    时间: 2024-10-22 19:28
标题: Centos7环境下Hive的安装
前言

   对于hive
的安装和利用，必要先完成如下配置：
  
  一、安装Hive

1.1 下载并解压

下载所需版本的 Hive，这里我下载版本为 apache-hive
-3.1.2-bin.tar.gz
下载地点：https://archive
.apache.org/dist/hive
/hive
-3.1.2/
  1. # 使用wget命令下载
  2. wget https://archive
  3. .apache.org/dist/hive
  4. /hive
  5. -3.1.2/apache-hive
  6. -3.1.2-bin.tar.gz
复制代码
下载后举行解压
  1. tar -zxvf apache-hive
  2. -3.1.2-bin.tar.gz -C /opt/module/hive
  3. -3.1.2
复制代码
1.2 配置环境变量

  1. # 这里修改自己的环境变量文件
  2. vim /etc/profile.d/my_env.sh
复制代码
添加环境变量：
  1. #HIVE_HOME
  2. export HIVE_HOME=/opt/module/hive
  3. -3.1.2
  4. export PATH=$PATH:$HIVE_HOME/bin
复制代码
让环境变量生效：
  1. source /etc/profile.d/my_env.sh
复制代码

1.3 修改配置

1. hive
-env.sh

进入安装目录下的 conf/ 目录，拷贝 Hive 的环境配置模板 flume-env.sh.template
  1. cd /opt/module/hive
  2. -3.1.2/conf/
  3. cp hive
  4. -env.sh.template hive
  5. -env.sh
复制代码
修改 hive
-env.sh，指定 Hadoop 的安装路径：
  1. HADOOP_HOME=/opt/module/hadoop-3.1.3
复制代码

2. hive
-site.xml

新建 hive
-site.xml 文件，内容如下，主要是配置存放元数据的 MySQL 的地点、驱动、用户名和密码等信息：
  1. vim hive
  2. -site.xml
复制代码
  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <configuration>
  4.   <property>
  5.     <name>javax.jdo.option.ConnectionURL</name>
  6.     <value>jdbc:mysql://hadoop101:3306/hadoop_hive
  7. ?createDatabaseIfNotExist=true</value>
  8.   </property>
  9.   <property>
  10.     <name>javax.jdo.option.ConnectionDriverName</name>
  11.     <value>com.mysql.jdbc.Driver</value>
  12.   </property>
  13.   <property>
  14.     <name>javax.jdo.option.ConnectionUserName</name>
  15.     <value>root</value>
  16.   </property>
  17.   <property>
  18.     <name>javax.jdo.option.ConnectionPassword</name>
  19.     <value>111111</value>
  20.   </property>
  21. </configuration>
复制代码
1.4 拷贝数据库驱动

将 MySQL 驱动包拷贝到 Hive 安装目录的 lib 目录下, MySQL 驱动的下载地点为：https://dev.mysql.com/downloads/connector/j/

解压后上传jar包到服务器

1.5 初始化元数据库


  1. # schematool 命令在安装目录的 bin 目录下，由于上面已经配置过环境变量，在任意位置执行即可
  2. schematool -dbType mysql -initSchema
复制代码
这里我利用的是hive
-3.1.2-bin.tar.gz，必要手动初始化元数据库。
报错

这里执行后会出现如下报错：
  1. Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
复制代码

原因是hadoop和hive
的两个guava.jar版本不一致，两个jar位置分别位于下面两个目录：
  1. find -name guava*
复制代码

解决办法是删除低版本的谁人，将高版本的复制到低版本目录下
  1. cd /opt/module/hive
  2. -3.1.2/lib/
  3. rm -rf guava-19.0.jar
  4. cp /opt/module/hadoop-3.1.3/share/hadoop/common/lib/guava-27.0-jre.jar .
复制代码
hive
默认是derby数据库，但是前面已经配置了mysql，如果没有安装mysql的话会报如下错误：

可以先把前面配置的hive
-site.xml文件删掉，再执行schematool -dbType derby -initSchema命令(背面改用mysql数据库时记得重新创建)，即可乐成初始化元数据库。

1.6 安装MySQL

由于之前已经写过安装mysql的文章，这里就不在赘述，直接放连接云服务器上配置Mysql
连接：https://blog.csdn.net/m0_70405779/article/details/140735557
安装好mysql后可以执行如下命令初始化元数据库
  1. schematool -dbType mysql -initSchema
复制代码

可以进到mysql中查看，已经创建了前面xml文件中设置的hadoop_hive
数据库

1.7 启动

启动hive
之前先确保hadoop集群是否启动，没有就启动一下
  1. # 配置了hadoop环境路径的话可以直接执行
  2. start-all.sh
复制代码

由于已经将 Hive 的 bin 目录配置到环境变量，直接利用以下命令启动，乐成进入交互式命令行后执行 show databases 命令，无异常则代表搭建乐成。
  1. hive
复制代码

利用hive

  1. hive
  2. > show databases;hive
  3. > show tables;hive
  4. > create table stu(id int, name string);hive
  5. > insert into stu values(1,"chen");hive
  6. > select * from stu;
复制代码
  问题记录
这里再hive
中执行insert语句时可能会卡住

可以先退出来，重新进入hive
，执行如下命令
set hive
.exec.mode.local.auto=true;
set hive
.exec.mode.local.auto.inputbytes.max=50000000;
set hive
.exec.mode.local.auto.input.files.max=5;
然后再次执行插入语句


  二、HiveServer2/beeline

Hive 内置了 HiveServer 和 HiveServer2 服务，两者都允许客户端利用多种编程语言举行连接，但是 HiveServer 不能处理多个客户端的并发请求，因此产生了 HiveServer2。HiveServer2（HS2）允许长途客户端可以利用各种编程语言向 Hive 提交请求并检索效果，支持多客户端并发访问和身份验证。HS2 是由多个服务组成的单个进程，其包括基于 Thrift 的 Hive 服务（TCP 或 HTTP）和用于 Web UI 的 Jetty Web 服务。
HiveServer2 拥有自己的 CLI 工具——Beeline。Beeline 是一个基于 SQLLine 的 JDBC 客户端。由于目前 HiveServer2 是 Hive 开发维护的重点，所以官方更加推荐利用 Beeline 而不是 Hive CLI。以下主要讲解 Beeline 的配置方式。
2.1 修改Hadoop配置

修改 hadoop 集群的 core-site.xml 配置文件，增加如下配置，指定 hadoop 的 root 用户可以代理本机上全部的用户。
  1. <property>
  2. <name>hadoop.proxyuser.root.hosts</name>
  3. <value>*</value>
  4. </property>
  5. <property>
  6. <name>hadoop.proxyuser.root.groups</name>
  7. <value>*</value>
  8. </property>
复制代码
之所以要配置这一步，是由于 hadoop 2.0 以后引入了安全伪装机制，使得 hadoop 不允许上层体系（如 hive
）直接将实际用户传递到 hadoop 层，而应该将实际用户传递给一个超等代理，由该代理在 hadoop 上执行操纵，以制止恣意客户端随意操纵 hadoop。如果不配置这一步，在之后的连接中可能会抛出 AuthorizationException 异常。
   关于 Hadoop 的用户代理机制，可以参考：hadoop 的用户代理机制 或 Superusers Acting On Behalf Of Other Users
  2.2 修改Hive配置

在hive
-site.xml文件中添加如下配置信息:
  1. <!-- 指定hive
  2. server2连接的host --><property>        <name>hive
  3. .server2.thrift.bind.host</name>        <value>hadoop001</value></property><!-- 指定hive
  4. server2连接的端口号 --><property>        <name>hive
  5. .server2.thrift.port</name>        <value>10000</value></property>
复制代码
2.2 启动hive
server2

由于上面已经配置过环境变量，这里直接启动即可：
  1. hive
  2. --service hive
  3. server2# 大概# nohup hive
  4. server2 &
复制代码
2.3 利用beeline

可以利用以下命令进入 beeline 交互式命令行，出现 Connected 则代表连接乐成。
  1. bin/beeline -u jdbc:hive
  2. 2://hadoop101:10000 -n root
复制代码
参考文章



免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4