ToB企服应用市场:ToB评测及商务社交产业平台

标题: 学习大数据DAY43 Sqoop 安装，设置情况和使用 [打印本页]
作者: 尚未崩坏    时间: 2024-8-31 17:59
标题: 学习大数据DAY43 Sqoop 安装，设置情况和使用
目次

sqoop 安装
设置 mysql
sqoop 安装
sqoop 指令集
sqoop 使用
sqoop 创建 hive 表
sqoop 全量导入表
sqoop 增量导入表
sqoop 全量导出表
sqoop 分区表导入表
sqoop 分区表导出表
上机练习

sqoop 安装

设置 mysql

   create database test     DEFAULT CHARACTER SET utf8     DEFAULT COLLATE utf8_general_ci;     --  创建数据库     show databases;     --  创建账号     Create user 'test'@'%' identified by 'test';     Grant all privileges on test.*     to test@'%'     identified by 'test' with grant option;     --  刷新权限设置     flush privileges;   sqoop 安装

   # 1.  拷贝安装包以及   mysql   的   jar   到  /root   目次 并解压     tar     -zvxf     sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz     -C     /opt/module/     # 2.  设置情况变量     vim /etc/profile.d/my_env.sh     #   参加   sqoop   路径     #SQOOP_HOME     export     SQOOP_HOME=/opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha     export PATH=$PATHSQOOP_HOME/bin     #  刷新情况变量     source /etc/profile     # 3.  设置   sqoop     cd $SQOOP_HOME/conf     cp sqoop-env-template.sh sqoop-env.sh     vim sqoop-env.sh     #  设置信息     export HADOOP_COMMON_HOME=/opt/module/hadoop-3.1.3     export HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3     export HIVE_HOME=/opt/module/apache-hive-3.1.2-bin     #export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10     #  拷贝   jdbc   驱动到   sqoop   的   lib   目次下     cp     mysql-connector-java-5.1.27-bin.jar     /opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/     #  连接测试     sqoop list-databases --connect jdbc:mysql://localhost:3306/     --username root --password root   sqoop 指令集


sqoop 使用

sqoop 创建 hive 表

   $ bin/sqoop create-hive-table \     --connect jdbc:mysql://hadoop102:3306/company \     --username test \     --password test \     --table test \     --hive-table test   sqoop 全量导入表

   #!/bin/bash     sqoop import \     --connect     "jdbc:mysql://hadoop100:3306/test?useUnicode=true&characterEnc     oding=utf-8" \     --username test \     --password test \     --table student2 \     --hive-import \     --delete-target-dir \     --hive-database db_hive \     --fields-terminated-by "\t" \     --target-dir "/user/hive/warehouse/db_hive.db/student2_sqoop" \     --hive-table student2_sqoop \     -m 1   sqoop 增量导入表

   bin/sqoop import \     --connect jdbc:mysql://hadoop102:3306/test \     --username root \     --password root \     --table emp \     --check-column deptno \     --incremental lastmodified \     --last-value "10" \     --m 1 \     --append  sqoop 全量导出表

   #!/bin/bash     sqoop export \     --connect     "jdbc:mysql://hadoop100:3306/test?useUnicode=true&characterEnc     oding=utf-8" \     --username test \     --password test \     -m 1 \     --table student2 \     --input-fields-terminated-by ',' \   --export-dir '/user/hive/warehouse/db_hive.db/student2'
sqoop 分区表导入表

   #!/bin/bash     sqoop_import(){     sqoop import \     --connect     "jdbc:mysql://hadoop100:3306/test?useUnicode=true&characterEnc     oding=utf-8" \     --username test \     --password test \     --query     "select * from maket_p where cast(year(ord_date) as     decimal)='$part' and \$CONDITIONS" \     --hive-import \     --create-hive-table \     --hive-overwrite \     --fields-terminated-by "\t" \     --hive-database db_hive \     --hive-table market_sqoop \     --target-dir     "/user/hive/warehouse/db_hive.db/market_sqoop/type_p=$part/" \     --hive-partition-key type_p \     --hive-partition-value "$part" \     -m 1     }     for part in `mysql -uroot -proot --database=test -N -e \     "select distinct cast(year(ord_date) as decimal) from maket_p     order by cast(year(ord_date) as decimal) "`     do  echo "$part   年数据 导入  ..."     sqoop_import     done     beeline -u jdbc:hive2://hadoop100:10000/db_hive \     -n root -p root --outputformat=csv2 --showHeader=false \     -e 'msck repair table market_sqoop;'   sqoop 分区表导出表

   #!/bin/bash     sqoop_maket(){     sqoop export \     --connect     "jdbc:mysql://hadoop100:3306/test?useUnicode=true&characterEnc     oding=utf-8" \     --username test \     --password test \     -m 1 \     --table maket_p \     --input-fields-terminated-by '\t' \     --export-dir "/user/hive/warehouse/db_hive.db/maket_p/$val/"     }     part=`beeline -u jdbc:hive2://hadoop100:10000/db_hive \     -n root -p root --outputformat=csv2 --showHeader=false \     -e 'show partitions maket_p;'`     for val in $part     do     echo $val     sqoop_maket     done   上机练习

   1 全表数据导出表自选     选择 hive 数据库的一张表导出到 mysql 的一张表里：   
  1. #!/bin/bash
  2. sqoop export \
  3. --connect
  4. "jdbc:mysql://hadoop100:3306/test?useUnicode=true&characterEnc
  5. oding=utf-8" \
  6. --username test \
  7. --password test \--table student2 \
  8. --export-dir /user/hive/warehouse/db_hive.db/student2 \
  9. --fields-terminated-by "," \
  10. -m 1
复制代码
   效果展示：     
    2 全表数据导入   
  1. #!/bin/bash
  2. sqoop import \
  3. --connect
  4. "jdbc:mysql://hadoop100:3306/test?useUnicode=true&characterEnc
  5. oding=utf-8" \
  6. --username test \
  7. --password test \
  8. --table student2 \
  9. --delete-target-dir \
  10. --create-hive-table \
  11. --hive-import \
  12. --hive-database db_hive \
  13. --hive-overwrite \
  14. --hive-table student2_sqoop \
  15. --target-dir /user/hive/warehouse/db_hive.db/student2_sqoop \
  16. --input-fields-terminated-by ',' \
  17. -m 1
复制代码

    3 分区表数据导出   
  1. #!/bin/bash
  2. sqoop_comm(){
  3. sqoop export \
  4. --connect
  5. "jdbc:mysql://hadoop100:3306/test?useUnicode=true&characterEnc
  6. oding=utf-8" \
  7. --username test \
  8. --password test \
  9. --table log_ \
  10. --export-dir /user/hive/warehouse/db_hive.db/log/$part \
  11. --fields-terminated-by '\t' \
  12. -m 1
  13. }
  14. for part in \
  15. `beeline -u "jdbc:hive2://hadoop100:10000/db_hive" \
  16. --showHeader=False --outputformat=csv2 \
  17. -n root -p 123456 -e 'show partitions log'`
  18. do
  19. echo "-----------$part-----------"
  20. sqoop_comm
  21. done
复制代码

    4 分区表数据导入   
  1. #!/bin/bash
  2. sqoop_comm(){
  3. sqoop import \
  4. --connect
  5. "jdbc:mysql://hadoop100:3306/test?useUnicode=true&characterEnc
  6. oding=utf-8" \
  7. --username test \
  8. --password test \
  9. --query "select * from log_ where date_format(cast(date_ as
  10. date),'%Y%m%d')=$part and \$CONDITIONS" \
  11. --delete-target-dir \
  12. --create-hive-table \
  13. --hive-import \
  14. --hive-overwrite \
  15. --hive-table sqoop_log \
  16. --hive-database db_hive \
  17. --hive-partition-key load_date \
  18. --hive-partition-value $part \
  19. --target-dir
  20. /user/hive/warehouse/db_hive.db/sqoop_log/load_date=$part \
  21. --input-fields-terminated-by '\t' \
  22. -m 1
  23. }
  24. for part in \
  25. `mysql -utest -ptest --database=test -Ne "select distinct DATE_FORMAT(cast(date_ as date),'%Y%m%d')from
  26. log_"`
  27. do
  28. echo "---------$part---------"
  29. sqoop_comm
  30. done
  31. beeline -u "jdbc:hive2://hadoop100:10000/db_hive" \
  32. --showHeader=False --outputformat=csv2 \
  33. -n root -p 123456 -e 'msck repair table sqoop_log
复制代码


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4