ToB企服应用市场:ToB评测及商务社交产业平台

标题: Hive单机版安装摆设 [打印本页]
作者: 九天猎人    时间: 2024-7-31 16:42
标题: Hive单机版安装摆设
一、干系软件包下载地址：

CentOS-7-x86_64-DVD-2207-02.iso:
https://mirrors.tuna.tsinghua.edu.cn/centos/7/isos/x86_64/
jdk-8u181-linux-x64.tar.gz:
https://repo.huaweicloud.com/java/jdk/8u181-b13/
Hadoop:
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.4/
Mysql mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar:
https://downloads.mysql.com/archives/community/
Mysql-connector mysql-connector-java-5.1.47.tar.gz:
https://downloads.mysql.com/archives/c-j/
Hive:
https://dlcdn.apache.org/hive/hive-3.1.2/
XSHELL:
https://www.xshell.com/zh/free-for-home-school/
二、准备文件

在根目录下建立software文件夹：mkdir software
压缩文件传输到software文件夹中。
解压命令：
gz文件：tar -zxvf 文件名
Mysql文件: tar -xvf 文件名
文件夹改名：mv 源文件夹名 目标文件夹名
三、摆设JDK

打开配置文件：vi /etc/profile
在文件最下方添加：
  1. export JAVA_HOME=/software/jdk
  2. export PATH=$PATH:$JAVA_HOME/bin
复制代码
保存退出，使文件见效：source /etc/profile

查看java版本：java -version

四、摆设hadoop

打开配置文件：vi /etc/profile
在文件最下方添加：
  1. export HADOOP_HOME=/software/hadoop
  2. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
复制代码
保存退出，见效：source /etc/profile

查看hadoop版本： hadoop version

配置SSH免密：
  1. ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_ke        ys
  3. chmod 0600 ~/.ssh/authorized_keys
复制代码
进入/software/hadoop/etc/hadoop文件夹
Hadoop-env.sh在末了面加入：
  1. export JAVA_HOME=/software/jdk
  2. export HDFS_NAMENODE_USER=root
  3. export HDFS_SECONDARYNAMENODE_USER=root
  4. export HDFS_DATANODE_USER=root
复制代码
Yarn-env.sh末了面加入：
  1. export YARN_REGISTRYDNS_SECURE_USER=root
  2. export YARN_RESOURCEMANAGER_USER=root
  3. export YARN_NODEMANAGER_USER=root
复制代码
修改core-site.xml:
  1. <configuration>
  2.     <property>
  3.       <name>fs.defaultFS</name>
  4.       <value>hdfs://localhost:9000</value>
  5.     </property>
  6.    
  7.     <property>
  8.       <name>hadoop.tmp.dir</name>
  9.       <value>/opt/hadoop/tmp</value>
  10.     </property>
  11.        
  12.     <property>
  13.       <name>hadoop.proxyuser.root.hosts</name>
  14.       <value>*</value>
  15.     </property>
  16.    
  17.     <property>
  18.       <name>hadoop.proxyuser.root.groups</name>
  19.       <value>*</value>
  20.     </property>       
  21. </configuration>
复制代码
修改hdfs-site.xml:
  1. <configuration>
  2.     <property>
  3.         <name>dfs.replication</name>
  4.         <value>1</value>
  5.     </property>
  6. </configuration>
复制代码
修改mapred-site.xml:
  1. <configuration>
  2.     <property>
  3.         <name>mapreduce.framework.name</name>
  4.         <value>yarn</value>
  5.     </property>
  6.     <property>
  7.         <name>mapreduce.application.classpath</name>
  8.         <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
  9.     </property>
  10. </configuration>
复制代码
修改yarn-site.xml:
  1. <configuration>
  2.     <property>
  3.         <name>yarn.nodemanager.aux-services</name>
  4.         <value>mapreduce_shuffle</value>
  5.     </property>
  6.     <property>
  7.         <name>yarn.nodemanager.env-whitelist</name>
  8.         <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  9.     </property>
  10. </configuration>
复制代码
格式化hadoop hdfs:
  1. hdfs namenode -format
复制代码
启动：start-all.sh
查看启动进程：

五、摆设mysql

查询是否安装了mariadb
  1. [root@localhost ~]# rpm -aq | grep mariadb
复制代码
列出信息
删除mariadb干系套件
  1. [root@localhost ~]# rpm -e --nodeps mariadb-libs-后面加上面显示的版本号
复制代码
安装依赖：
  1. yum install perl -y
  2. yum install net-tools -y
复制代码
依次执行以下命令
  1. rpm -ivh mysql-community-common-5.7.26-1.el7.x86_64.rpm
  2. rpm -ivh mysql-community-libs-5.7.26-1.el7.x86_64.rpm
  3. rpm -ivh mysql-community-libs-compat-5.7.26-1.el7.x86_64.rpm
  4. rpm -ivh mysql-community-client-5.7.26-1.el7.x86_64.rpm
  5. rpm -ivh mysql-community-server-5.7.26-1.el7.x86_64.rpm
复制代码
启动mysql:
  1. systemctl start mysqld
复制代码
查看状态：
  1. systemctl status mysqld
复制代码
生成临时暗码：
  1. grep "temporary password" /var/log/mysqld.log
复制代码
使用临时暗码登录mysql:
  1. mysql -uroot -p
复制代码
  1. 设置密码强度为低级
  2. mysql> set global validate_password_policy=0;
  3. 设置密码长度为6
  4. mysql> set global validate_password_length=6;
  5. 修改本地密码
  6. mysql> alter user'root'@'localhost'identified by '123456';
  7. 设置满足任意主机节点root的远程访问权限（否则后续hive无法连接mysql）
  8. mysql> grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
  9. 刷新权限
  10. mysql> flush privileges;
复制代码
六、摆设Hive

/etc/profile末了面加入：
  1. export HIVE_HOME=/software/hive
  2. export PATH=$PATH:$HIVE_HOME/bin
复制代码
刷新：
  1. source /etc/profile
复制代码
进入配置文件夹：/software/hive/conf
cp hive-env.sh.template hive-env.sh
Hive-env.sh文件末了添加：
  1. export JAVA_HOME=/software/jdk
  2. export HADOOP_HOME=/software/hadoop
  3. export HIVE_CONF_DIR=/software/hive/conf
复制代码
vi hive-site.xml
复制（IP修改为虚拟机IP）：
  1. <configuration>
  2.   <property>
  3.     <name>javax.jdo.option.ConnectionURL</name>
  4.     <value>jdbc:mysql://192.168.59.128:3306/hive?createDatabaseIfNotExist=true</value>
  5.   </property>
  6.   
  7.   <property>
  8.     <name>javax.jdo.option.ConnectionDriverName</name>
  9.     <value>com.mysql.jdbc.Driver</value>
  10.   </property>
  11.   
  12.   <property>
  13.     <name>javax.jdo.option.ConnectionUserName</name>
  14.     <value>root</value>
  15.   </property>
  17.   <property>
  18.     <name>javax.jdo.option.ConnectionPassword</name>
  19.     <value>123456</value>
  20.   </property>
  22.   <property>
  23.     <name>hive.exec.local.scratchdir</name>
  24.     <value>/tmp/hive</value>
  25.   </property>
  27.   <property>
  28.     <name>hive.downloaded.resources.dir</name>
  29.     <value>/tmp/${hive.session.id}_resources</value>
  30.   </property>
  32.   <property>
  33.     <name>hive.querylog.location</name>
  34.     <value>/tmp/hive</value>
  35.   </property>
  37.   <property>
  38.     <name>hive.server2.logging.operation.log.location</name>
  39.     <value>/tmp/hive/operation_logs</value>
  40.   </property>
  42.   <property>
  43.     <name>hive.server2.enable.doAs</name>
  44.     <value>FALSE</value>
  45.   </property>  
  46. </configuration>
复制代码
一些依赖包：
  1. cp mysql-connector-java-5.1.47.jar /software/hive/lib/
  2. mv /software/hive/lib/guava-19.0.jar{,.bak}
  3. cp /software/hadoop/share/hadoop/hdfs/lib/guava-27.0-jre.jar /software/hive/lib/
复制代码
初始化：
  1. schematool -dbType mysql -initSchema
复制代码
进入hive文件夹，启动hive:
  1. bin/hive
复制代码
输入show databases;


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4