deepin 安装 hive

deepin 安装 hive

• 安装 hadoop
  
• 安装 mysql
  
• 安装 hive
  
  

准备

HDFS设置

1. vim $HADOOP_HOME/etc/hadoop/core-site.xml

复制代码

1.   <!--配置所有节点的lhz用户都可作为代理用户-->
2.   <property>
3.     <name>hadoop.proxyuser.lhz.hosts</name>
4.     <value>*</value>
5.   </property>
7.   <!--配置lhz用户能够代理的用户组为任意组-->
8.   <property>
9.     <name>hadoop.proxyuser.lhz.groups</name>
10.     <value>*</value>
11.   </property>
13.   <!--配置lhz用户能够代理的用户为任意用户-->
14.   <property>
15.     <name>hadoop.proxyuser.lhz.users</name>
16.     <value>*</value>
17.   </property>

复制代码

启动Hadoop

1. # 启动hadoop
2. start-hadoop.sh
3. # 检查hadoop进程
4. jps
5. # 检查各端口
6. netstat -aplnt | grep java

复制代码

安装MySQL

创建MySQL用户和用户组

1. sudo groupadd mysql

复制代码

1. sudo useradd -r -g mysql -s /bin/false mysql

复制代码

下载MySQL安装包

1. wget https://cdn.mysql.com//Downloads/MySQL-9.1/mysql-9.1.0-linux-glibc2.28-x86_64.tar.xz

复制代码

解压缩MySQL安装包

1. sudo tar -xvf mysql-9.1.0-linux-glibc2.28-x86_64.tar.xz

复制代码

移动安装包到指定目录

1. sudo mv mysql-9.1.0-linux-glibc2.28-x86_64 /usr/local/mysql

复制代码

创建链接符号目录

1. sudo mkdir /usr/local/mysql/mysql-files

复制代码

修改目录所属

1. sudo chown -R mysql:mysql /usr/local/mysql

复制代码

链接符号目录授权

1. sudo chmod 750 /usr/local/mysql/mysql-files

复制代码

设置环境变量

   暂时环境变量

1. export PATH=$PATH:/usr/local/mysql/bin

复制代码

  永久环境变量

1. sudo vim /etc/profile

复制代码

  末尾追加以下内容

1. export PATH=$PATH:/usr/local/mysql/bin

复制代码

初始化数据库

1. sudo /usr/local/mysql/bin/mysqld --initialize --user=mysql

复制代码

  留意：MySQL初始密码会打印在控制台上
  比方：[Note] [MY-010454] [Server] A temporary password is generated for root@localhost: .mT/UTw%<5&=
  启动MySQL

1. sudo /usr/local/mysql/bin/mysqld_safe --user=mysql &

复制代码

修改MySQL root用户密码和授权可访问主机

   打开新的控制台实行以下命令

1. sudo /usr/local/mysql/bin/mysql -uroot -p

复制代码

  根据提示输入之前打印在控制台上的MySQL初始密码
留意：第一次输入可能是利用系统用户密码
    修改 root 用户密码为 lihaozhe

1. alter user 'root'@'localhost' IDENTIFIED BY 'lihaozhe';
2. flush privileges;

复制代码

  授权任意主机皆可访问

1. update mysql.user set host = '%' where user = 'root';
2. flush privileges;

复制代码

  退出MySQL

1. exit;

复制代码

设置MySQL服务

   在新的控制台实行以下命令

1. sudo cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql.server

复制代码

  控制 MySQL 可以利用 以下命令
  sudo systemctl start mysql
  sudo systemctl stop mysql
  sudo systemctl restart mysql
  sudo systemctl reloead mysql
  大概
  sudo service mysql.server start

  sudo service mysql.server stop
  sudo service mysql.server restart
  sudo service mysql.server reloead
  测试

   重启利用系统
  手动开启MySQL服务

1. sudo systemctl start mysql

复制代码

  大概

1. sudo service mysql.server start

复制代码

登录MySQL

   利用自界说密码登录

1. mysql -uroot -p

复制代码

安装hive

1. # 将软件上传到 /home/lhz/opt 目录
2. wget https://dlcdn.apache.org/hive
3. /hive
4. -4.0.1/apache-hive
5. -4.0.1-bin.tar.gz
6. # 解压hive
8. tar -zxvf apache-hive
9. -4.0.1-bin.tar.gz
10. # 目录改名
11. mv apache-hive
12. -4.0.1-bin hive
13. -4
14. # 进入配置文件目录
15. cd /home/lhz/opt/hive
16. -4/conf
17. # 编辑环境配置文件
18. vim hive
19. -env.sh
20. # 编辑配置文件
21. vim hive
22. -site.xml

复制代码

hive
-env.sh

   hadoop 安装路径 export HADOOP_HOME=/home/lhz/opt/hadoop-3/
  hive
设置文件路径 export HIVE_CONF_DIR=/home/lhz/opt/hive
-4/conf/****

1. export HADOOP_HOME=/home/lhz/opt/hadoop-3/
2. export HIVE_CONF_DIR=/home/lhz/opt/hive
3. -4/conf/

复制代码

hive
-site.xml

   必要修改的位置提炼如下：

1. <configuration>
2.   <!-- 记录HIve中的元数据信息  记录在mysql中 -->
3.   <property>
4.     <name>javax.jdo.option.ConnectionURL</name>
5.     <value>jdbc:mysql://lihaozhe:3306/hive
6. ?allowPublicKeyRetrieval=true&amp;useUnicode=true&amp;createDatabaseIfNotExist=true&amp;characterEncoding=UTF8&amp;useSSL=false&amp;useServerPrepStmts=false&amp;rewriteBatchedStatements=true&amp;cachePrepStmts=true&amp;allowMultiQueries=true&amp;serverTimeZone=Asia/Shanghai&amp;sslMode=DISABLED</value>
7.   </property>
9.   <!-- jdbc mysql驱动 -->
10.   <property>
11.     <name>javax.jdo.option.ConnectionDriverName</name>
12.     <value>com.mysql.cj.jdbc.Driver</value>
13.   </property>
15.   <!-- mysql的用户名和密码 -->
16.   <property>
17.     <name>javax.jdo.option.ConnectionUserName</name>
18.     <value>root</value>
19.   </property>
20.   <property>
21.     <name>javax.jdo.option.ConnectionPassword</name>
22.     <value>lihaozhe</value>
23.   </property>
25.   <property>
26.     <name>hive
27. .metastore.warehouse.dir</name>
28.     <value>/user/hive
29. /warehouse</value>
30.   </property>
32.   <property>
33.     <name>hive
34. .exec.scratchdir</name>
35.     <value>/user/hive
36. /tmp</value>
37.   </property>
39.   <property>
40.     <name>hive
41. .exec.local.scratchdir</name>
42.     <value>/home/lhz/data/hive
43. /local</value>
44.     <description>Local scratch space for Hive jobs</description>
45.   </property>
47.   <property>
48.     <name>hive
49. .downloaded.resources.dir</name>
50.     <value>/home/lhz/data/hive
51. /resources</value>
52.     <description>Temporary local directory for added resources in the remote file system.</description>
53.   </property>
55.   <!-- 日志目录 -->
56.   <property>
57.     <name>hive
58. .querylog.location</name>
59.     <value>/user/hive
60. /log</value>
61.   </property>
63.   <!-- 设置metastore的节点信息 -->
64.   <property>
65.     <name>hive
66. .metastore.uris</name>
67.     <!--<value>thrift://lihaozhe03:9083</value>-->
68.     <value/>
69.   </property>
71.   <!-- 客户端远程连接的端口 -->
72.   <property>
73.     <name>hive
74. .server2.thrift.port</name>
75.     <value>10000</value>
76.   </property>
77.   <property>
78.     <name>hive
79. .server2.thrift.bind.host</name>
80.     <value>0.0.0.0</value>
81.   </property>
82.   <property>
83.     <name>hive
84. .server2.webui.host</name>
85.     <value>0.0.0.0</value>
86.   </property>
88.   <!-- hive
89. 服务的页面的端口 -->
90.   <property>
91.     <name>hive
92. .server2.webui.port</name>
93.     <value>10002</value>
94.   </property>
96.   <property>
97.     <name>hive
98. .server2.long.polling.timeout</name>
99.     <value>5000ms</value>
100.   </property>
102.   <property>
103.     <name>hive
104. .server2.enable.doAs</name>
105.     <value>true</value>
106.   </property>
107.   <!--
108.   <property>
109.   <name>datanucleus.autoCreateSchema</name>
110.   <value>false</value>
111.   </property>
113.   <property>
114.   <name>datanucleus.fixedDatastore</name>
115.   <value>true</value>
116.   </property>
117.   -->
118.   <property>
119.     <name>hive
120. .execution.engine</name>
121.     <value>mr</value>
122.   </property>
123.   <property>
124.     <name>hive
125. .metastore.schema.verification</name>
126.     <value>false</value>
127.   </property>
128.   <property>
129.     <name>hive
130. .server2.logging.operation.log.location</name>
131.     <value>/home/lhz/data/hive
132. /tmp/operation_logs</value>
133.   </property>
134. </configuration>

复制代码

  留意：上面设置文件中的路径在 vi 编辑器下 全局替换 本案例已经替换过了无需实行

1. :%s@\${system:java.io.tmpdir}@/tmp/hive
2. -log@g

复制代码

不要利用图形化 不然每次生存后3215行都会有个 &#8 特殊字符 如果产生删除即可 详细报错信息 后面有单独的形貌
  设置环境变量

1. vim /home/lhz/.bashrc

复制代码

1. export HIVE_HOME=/home/lhz/opt/hive
2. -4
3. export HCATALOG_HOME=/home/lhz/opt/hive
4. -4/hcatalog
6. export PATH=$PATH:$HIVE_HOME/bin:$HCATALOG_HOME/bin:$HCATALOG_HOME/sbin

复制代码

  完备

1. export JAVA_HOME=/home/lhz/opt/jdk-8
2. export M2_HOME=/home/lhz/opt/maven
4. export HDFS_NAMENODE_USER=lhz
5. export HDFS_SECONDARYNAMENODE_USER=lhz
6. export HDFS_DATANODE_USER=lhz
7. export HDFS_ZKFC_USER=lhz
8. export HDFS_JOURNALNODE_USER=lhz
9. export HADOOP_SHELL_EXECNAME=lhz
11. export YARN_RESOURCEMANAGER_USER=lhz
12. export YARN_NODEMANAGER_USER=lhz
14. export HADOOP_HOME=/home/lhz/opt/hadoop-3
15. export HADOOP_INSTALL=$HADOOP_HOME
16. export HADOOP_MAPRED_HOME=$HADOOP_HOME
17. export HADOOP_COMMON_HOME=$HADOOP_HOME
18. export HADOOP_HDFS_HOME=$HADOOP_HOME
19. export YARN_HOME=$HADOOP_HOME
20. export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
21. export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native
23. export HIVE_HOME=/home/lhz/opt/hive
24. -4
25. export HCATALOG_HOME=/home/lhz/opt/hive
26. -4/hcatalog
28. export SCALA_HOME=/home/lhz/opt/scala-2
30. export SPARK_HOME=/home/lhz/opt/spark-3
32. export PATH=$PATH:$JAVA_HOME/bin:$M2_HOME/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$HIVE_HOME/bin:$HCATALOG_HOME/bin:$HCATALOG_HOME/sbin

复制代码

上传 MySQL 连接驱动 jar 包到 hive
安装目录的lib目录下:

1. $HIVE_HOME/lib

复制代码

  删除原有的 protobuf-java-3.24.4.jar 文件
  上传 jar 包有两个 分别为：
  

• mysql-connector-j-9.1.0.jar
  
• protobuf-java-4.28.3.jar
  

1. rm -f $HIVE_HOME/lib
2. /protobuf-java-3.24.4.jar

复制代码

guava版本冲突

删除 hive
/lib目录中的 guava-22.0.jar
拷贝hadoop/share/hadoop/common/lib目录中的 guava-27.0-jre.jar 到 hive
/lib 目录

1. rm -f $HIVE_HOME/lib
2. /guava-22.0.jarcp -v $HADOOP_HOME/share/hadoop/common/lib/guava-27.0-jre.jar $HIVE_HOME/lib

复制代码

初始化hive
的元数据库

   留意：初始初始元数据库之前 包管 hadoop 和 mysql 正常启动
    推荐现在mysql 手动创建 hive
元数据库

1. create database hive
2. default character set utf8;

复制代码

  Linux控制台实行以下命令初始化 hive
元数据库

1. schematool -initSchema -dbType  mysql -verbose

复制代码

中文乱码

1. mysql -uroot -p

复制代码

1. use hive
2. ;

复制代码

1. alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
2. alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
3. alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
4. alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
5. alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
6. flush privileges;

复制代码

远程模式

1. hive
2. --service metastore
3. hive
4. --service hive
5. server2  
6. # hive
7. --service hive
8. server2 与 hive
9. server2 start 作用相同
11. # 启动服务端 后台运行
12. hive
13. --service metastore &
14. hive
15. --service hive
16. server2 &
18. # 启动服务端 后台运行
19. nohup hive
20. --service metastore > /dev/null 2>&1 &
21. nohup hive
22. --service hive
23. server2 > /dev/null 2>&1 &

复制代码

  bash 中 0、1、2 三个数字分别代表 STDIN_FILENO 、 STDOUT_FILENO 、STDERR_FILENO ，
即标准输入（一般是键盘），
标准输出（一般是显示屏，准确的说是用户终端控制台），
标准错误（输出错信息输出）。
  数字寄义0标准输入（一般是键盘）1标准输出（一般是显示屏，准确的说是用户终端控制台）2标准错误（输出错信息输出）   /dev/null看作"黑洞". 它等价于一个只写文件.
全部写入它的内容都会永久丢失.
而实验从它那儿读取内容则什么也读不到
  启动hive
脚本

   start-hive
.sh

1. nohup hive
2. --service metastore > /dev/null 2>&1 &
3. nohup hive
4. --service hive
5. server2 > /dev/null 2>&1 &

复制代码

  为脚本添加可实行权限

1. chmod +x start-hive
2. .sh

复制代码

  分发启动脚本

1. mv start-hive
2. .sh /home/lhz/opt/hive
3. -4/bin/

复制代码

客户端连接

beeline 连接

1. beeline -u jdbc:hive
2. 2://lihaozhe:10000 -n root

复制代码

beeline 连接参数

1. Option Description  
2. --autoCommit=[true/false] ---进入一个自动提交模式：beeline --autoCommit=true  
3. --autosave=[true/false]   ---进入一个自动保存模式：beeline --autosave=true  
4. --color=[true/false]    ---显示用到的颜色：beeline --color=true  
5. --delimiterForDSV= DELIMITER ---分隔值输出格式的分隔符。默认是“|”字符。  
6. --fastConnect=[true/false]  ---在连接时，跳过组建表等对象：beeline --fastConnect=false  
7. --force=[true/false]    ---是否强制运行脚本：beeline--force=true  
8. --headerInterval=ROWS   ---输出的表间隔格式，默认是100: beeline --headerInterval=50  
9. --help ---帮助  beeline --help  
10. --hive
11. conf property=value  ---设置属性值，以防被hive
12. .conf.restricted.list重置：beeline --hive
13. conf prop1=value1   
14. --hive
15. var name=value   ---设置变量名：beeline --hive
16. var var1=value1  
17. --incremental=[true/false]  ---输出增量
18. --isolation=LEVEL  ---设置事务隔离级别：beeline --isolation=TRANSACTION_SERIALIZABLE  
19. --maxColumnWidth=MAXCOLWIDTH ---设置字符串列的最大宽度：beeline --maxColumnWidth=25  
20. --maxWidth=MAXWIDTH ---设置截断数据的最大宽度：beeline --maxWidth=150  
21. --nullemptystring=[true/false]  ---打印空字符串：beeline --nullemptystring=false  
22. --numberFormat=[pattern]     ---数字使用DecimalFormat：beeline --numberFormat="#,###,##0.00"  
23. --outputformat=[table/vertical/csv/tsv/dsv/csv2/tsv2] ---输出格式：beeline --outputformat=tsv   
24. --showHeader=[true/false]   ---显示查询结果的列名：beeline --showHeader=false  
25. --showNestedErrs=[true/false] ---显示嵌套错误：beeline --showNestedErrs=true  
26. --showWarnings=[true/false] ---显示警告：beeline --showWarnings=true  
27. --silent=[true/false]  ---静默方式执行，不显示执行过程信息：beeline --silent=true  
28. --truncateTable=[true/false] ---是否在客户端截断表的列     
29. --verbose=[true/false]  ---显示详细错误信息和调试信息：beeline --verbose=true  
30. -d <driver class>  ---使用一个驱动类：beeline -d driver_class  
31. -e <query>  ---使用一个查询语句：beeline -e "query_string"  
32. -f <file>  ---加载一个文件：beeline -f filepath  多个文件用-e file1 -e file2
33. -n <username>  ---加载一个用户名：beeline -n valid_user  
34. -p <password>  ---加载一个密码：beeline -p valid_password  
35. -u <database URL> ---加载一个JDBC连接字符串：beeline -u db_URL

复制代码

hive
连接

1. hive

复制代码

  启动客户端后连接

1. !connect jdbc:hive
2. 2://lihaozhe:10000 -n root

复制代码

浏览器访问

   http://lihaozhe:10002/
  

关闭 hive
脚本

   编写 stop-hive
.sh 脚本 kill 掉后台 RunJar 进程

1. #!/bin/bash  
3. # 查找并杀死所有 RunJar 进程  
4. pids=$(ps -ef | grep RunJar | grep -v grep | awk '{print $2}')  
6. # 检查是否有找到任何 PID
7. if [ -n "$pids" ]; then
8.     # 按行kill并输出
9.     for pid in $pids; do
10.             echo "Killing the following RunJar processes PID: $pid"
11.         kill -9 $pid
12.     done
13. else
14.     echo "No RunJar processes found."
15. fi

复制代码

  脚本添加可实行权限

1. chmod +x stop-hive
2. .sh

复制代码

  分发脚本

1. mv stop-hive
2. .sh /home/lhz/opt/hive
3. -4/bin/

复制代码

体验

1. use default;
2. create table person (
3.         id int,
4.     phonenum bigint,
5.     salary dicimal,
6.     name string
7. );
8. show tables;
9. insert into person values (1001,13966668888,9999.99,"张三");

复制代码

1. songsong,bingbing_lili,xiao song:18_xiaoxiao song:19
2. longlong,pingping_liuliu,xiao long:8_xiaoxiao long:9

复制代码

1. drop table person;
2. create table person (
3.     name string,
4.     friends array<string>,
5.     childrens map<string,int>
6. )
7. row format delimited fields terminated by ','
8. collection items terminated by '_'
9. map keys terminated by ':'
10. lines terminated by '\n';

复制代码

1. load data local inpath  '/root/person.txt' into table person;

复制代码

1. drop table data;
2. create table data (
3.     name string,
4.            amount int
5. )
6. row format delimited fields terminated by ','
7. lines terminated by '\n';
8. load data local inpath  '/root/data.txt' into table data;

复制代码

1. select count(*) from data;
2. select count(*) from data group by name;
3. select name,max(t) from data group by name;
4. select name,max(t) from data group by name order by max(t) ;

复制代码

1. # 本地set mapreduce.framework.name=local;set hive
2. .exec.mode.local.auto=true;# yarnset mapreduce.framework.name=yarn;set hive
3. .exec.mode.local.auto=false;# 向量模式set hive
4. .vectorized.execution.enabled=true;set hive
5. .vectorized.execution.enabled=false;set mapreduce.framework.name=local;set hive
6. .exec.mode.local.auto=true;set hive
7. .vectorized.execution.enabled=true;

复制代码

t
)
row format delimited fields terminated by ‘,’
lines terminated by ‘\n’;
load data local inpath ‘/root/data.txt’ into table data;

1. ```sqlselect count(*) from data;
2. select count(*) from data group by name;
3. select name,max(t) from data group by name;
4. select name,max(t) from data group by name order by max(t) ;

复制代码

1. # 本地set mapreduce.framework.name=local;set hive
2. .exec.mode.local.auto=true;# yarnset mapreduce.framework.name=yarn;set hive
3. .exec.mode.local.auto=false;# 向量模式set hive
4. .vectorized.execution.enabled=true;set hive
5. .vectorized.execution.enabled=false;set mapreduce.framework.name=local;set hive
6. .exec.mode.local.auto=true;set hive
7. .vectorized.execution.enabled=true;

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。