水军大提督 发表于 2024-7-16 13:20:24

CentOS7 Sqoop 1.4.7 安装 (Hadoop 3.3.0)

CentOS7 Sqoop 1.4.7 安装 (Hadoop 3.3.0)

1、 Sqoop 1.4.7 官网链接下载:

https://archive.apache.org/dist/sqoop/1.4.7/
https://img-blog.csdnimg.cn/direct/9da172cf91534bb3a9e10182214e4f8d.png
2、把压缩包用mobaxterm拖到 /tools文件夹

https://img-blog.csdnimg.cn/direct/ea7f391ae79848ffb3048f5516699966.png
3、解压

tar -zvxf /tools/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /training/
https://img-blog.csdnimg.cn/direct/3c34a366240349eb9a973e382d46ad53.png
4、进入 /training 文件夹

cd /training
5、重命名文件夹

mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7
6、查察一下重命名乐成没,可以看到改名为sqoop-1.4.7了

ll
https://img-blog.csdnimg.cn/direct/49c54da56ed94aa1a701bfee5daeb186.png
7、编辑情况变量

vi ~/.bash_profile
1)加进去这个
#sqoop
export SQOOP_HOME=/training/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin
https://img-blog.csdnimg.cn/direct/df7ac9db94734a5b8c2581bb82b0f85b.png
2)按esc按钮后 :wq 保存并退出文件
3)生效情况变量
source ~/.bash_profile
8、Sqoop设置

1)进去设置文件路径
cd /training
/sqoop-1.4.7/conf 2)复制一份
cp sqoop-env-template.sh sqoop-env.sh
https://img-blog.csdnimg.cn/direct/07eac31f25204dcb8a7fa8cbfdaacce3.png
3)更改文件sqoop-env.sh
vi sqoop-env.sh
https://img-blog.csdnimg.cn/direct/35a0e9ee4cf64d16a5183f57e069c1f7.png
4)看清楚本身的路径是啥,把以下加进去并更改
export HADOOP_COMMON_HOME=/training/hadoop-3.3.0
export HADOOP_MAPRED_HOME=/training/hadoop-3.3.0
export HIVE_HOME=/training/hive
https://img-blog.csdnimg.cn/direct/1fcf9ddce26a4552a9ab406ee7d301da.png
5)加入mysql的jdbc驱动包到sqoop的lib文件夹
链接:https://pan.baidu.com/s/1gD2M8Gr9IFOkOA4EghfWLg?pwd=32r8
https://img-blog.csdnimg.cn/direct/8b8355b427a443df89db6b9d16f60d4d.png
9、检查是否可用

1)sqoop版本号查询
sqoop version
https://img-blog.csdnimg.cn/direct/56bbdca18e504b46a0e1cfead6017573.png
2)sqoop帮助查询
sqoop-help
https://img-blog.csdnimg.cn/direct/37b04171baef488f974e019063ed7cc5.png
10、测试sqoop链接Linux Mysql

sqoop list-databases --connect jdbc:mysql://192.168.163.137:3306/ --username root --password Root123!

可能报错:

   Exception in thread “main” java.lang.NoClassDefFoundError:
org/apache/commons/lang/StringUtils
https://img-blog.csdnimg.cn/direct/7fb59bb73f23462f8edc60098ae3703b.png
a)原因:

找不到类,sqoop版本是1.4.7 而commons-lang3-3.4.jar版本是3.x
b)办理办法:

办理版本问题即可,commons-lang版本改为2.x
c)点击下载百度网盘链接:

commons-lang-2.6.jar
d)替换版本的commons-lang的jar包,将2.x版本的jar复制到sqoop的lib目次下,并删除3.x版本。

https://img-blog.csdnimg.cn/direct/5ad5138cc74344d4b826ef2d66ebbc25.png
e)再尝试就可以了

sqoop list-databases --connect jdbc:mysql://192.168.163.137:3306/ --username root --password Root123!

https://img-blog.csdnimg.cn/direct/e8f5b814ba6a4ace9347f4bbd91dcbf0.png
11、测试sqoop链接Windows Mysql

sqoop list-databases --connect jdbc:mysql://192.168.163.1 --username root --password Root123!
https://img-blog.csdnimg.cn/direct/d052e32cdc514e64b60b9be400c4827f.png

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: CentOS7 Sqoop 1.4.7 安装 (Hadoop 3.3.0)