泉缘泉 发表于 2024-6-17 22:49:21

如何获取Flume毗连HDFS所需要的包

在学习Hadoop工具中的Flume时,有的小同伴会遇到这句话:
“Flume要想将数据输出到HDFS,必须持有Hadoop相关jar包”
然后小同伴就懵逼了,这些包要去什么地方来找呢?
(远在天涯,近在眼前)

首先,我们需要的包有
commons-configuration-1.6.jar、
hadoop-auth-2.7.6.jar、
hadoop-common-2.7.6.jar、
hadoop-hdfs-2.7.6.jar、
commons-io-2.4.jar、
htrace-core-3.1.0-incubating.jar
这些包要放在/flume/lib文件夹下。
其中,后两个jar为1.99版本flume必须引用的jar。其他版本可以不引用。

接下来找到你的Hadoop文件
都学到Flume了,肯定能找到自己的Hadoop文件吧(心虚)
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pbWcyMDI0LmNuYmxvZ3MuY29tL2Jsb2cvMzQzOTE3OC8yMDI0MDYvMzQzOTE3OC0yMDI0MDYxNzE5MTYyNDk2OC03NDQwMjg3NDQucG5n
进入hadoop-3.3.0\share\hadoop路径
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pbWcyMDI0LmNuYmxvZ3MuY29tL2Jsb2cvMzQzOTE3OC8yMDI0MDYvMzQzOTE3OC0yMDI0MDYxNzE5MTc1NzI5Ni0zNzk4MTcwNzEucG5n
然后在这个位置搜索上面你所需要的几个包
留意:搜索时只能搜索包的名字,不要带版本号,不然容易搜不到
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pbWcyMDI0LmNuYmxvZ3MuY29tL2Jsb2cvMzQzOTE3OC8yMDI0MDYvMzQzOTE3OC0yMDI0MDYxNzE5MjYyMzQxNi01MzY4NDIwMTMucG5n
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pbWcyMDI0LmNuYmxvZ3MuY29tL2Jsb2cvMzQzOTE3OC8yMDI0MDYvMzQzOTE3OC0yMDI0MDYxNzE5MTk1ODE4Ni05NjQ0MjI1MTIucG5n
这样就找到了,接下来只需要打开你的Xshell或者其他什么东西毗连linux主机,把这些文件拖拽进/flume/lib就可以用了

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: 如何获取Flume毗连HDFS所需要的包