目次
完整流程
1:安装sqoop(直接官网下就行了)详细教程点这里
2.测试连接sqoop连接mysql
2-1代码与表明
2-2结果
3.导入mysql数据到hive中
4.导入成功截图
遇到的问题
问题一:
完整流程
1:安装sqoop(直接官网下就行了)详细教程点这里
在sqoop中设置情况(例如在/opt/sqoop-1.4.7.bin__hadoop-2.6.0/conf)
这里的地点要找出你对应的zookeeper,hadoop,hive地点
2.测试连接sqoop连接mysql
2-1代码与表明
sqoop list-databases --connect jdbc:mysql://192.168.10.102:3306/ --username root --password 1111
上面的地点是虚拟机地点,端标语默以为3306(也可以查一下此端口是否有mysqld,如下面),后面的是用户名(root)和密码(1111),都是根据自己的填
- [root@hadoop102 ~]# sudo lsof -i :3306
- COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
- mysqld 2428 mysql 53u IPv6 93577 0t0 TCP *:mysql (LISTEN)
复制代码 2-2结果
3.导入mysql数据到hive中
- sqoop import
- --connect jdbc:mysql://192.168.10.102:3306/kk
- --username root
- --password 1111
- --table student
- --fields-terminated-by ','
- --delete-target-dir
- --num-mappers 1
- --hive-import
- --hive-database db_msg
- --hive-table student
复制代码 这个命令是,将mysql中kk数据库中的表student导入到hive的db_msg数据库的student表(hive中的表可不存在,会自动创建)
4.导入成功截图
遇到的问题
问题一:
问题:ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE CONF DIR is set correctly.
分析:hive的HiveConf无法正确加载("错误: 找不到或无法加载主类"报这个错的都可以试一试)
办理:
1:去到hive的lib目次下
2:这个命令的输出结果将显示hive-common-3.1.3.jar中包含的全部类文件,此中包含HiveConf类的行将被高亮显示出来。(在我这里,HiveConf类存在,说明情况没配好)
- jar tf hive-common-3.1.3.jar Igrep HiveConf.class
复制代码 3: vi .bash_profile(编辑情况变量)
4:参加下面这两句
5:更新体系情况变量(source 一下)
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。 |