ToB企服应用市场:ToB评测及商务社交产业平台

标题: flume基本安装与使用 [打印本页]

---

作者: 农民    时间: 2023-4-12 09:23
标题: flume基本安装与使用
解压flume包 到/usr/local/src/目录下 

1. [root@hadoopha01 pack]# tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local/src/

复制代码

配置flume环境变量

1. #FLUME_HOME
2. export FLUME_HOME=/usr/local/src/flume
3. export PATH=$PATH:$FLUME_HOME/bin

复制代码

修改flume中flume-env.sh文件，先将修改名称为flume-env.sh，或者直接新建一个
其中配置jdk

1. export JAVA_HOME=/usr/local/src/jdk

复制代码

flume,安装成功
查看版本

1. [root@hadoopha01 conf]# flume-ng version

复制代码

flume的基本使用
使用flume传输数据至hdfs中
查询dfs中有那些文件

1. [root@hadoopha01 conf]# hdfs dfs -ls /

复制代码

创建一个flume文件夹

1. [root@hadoopha01 conf]# hdfs dfs -mkdir  /flume

复制代码

创建一个job目录用于存放flume配置文件

1. mkdir job
2. [root@hadoopha01 job]# vi hdfs_k.conf

复制代码

文件内容

1. a1.sources = r1
2. a1.channels = c1
3. a1.sinks = k1
5. a1.sources.r1.type = netcat
6. a1.sources.r1.bind = 主机名
7. a1.sources.r1.port = 自己设置端口号
9. a1.sinks.k1.type = hdfs
10. a1.sinks.k1.hdfs.path = hdfs://主机名称+hdfs端口号/flume/events/%y-%m-%d/%H/%M/%S
11. a1.sinks.k1.hdfs.filePrefix = events-
13. #是否是产生新目录,每十分钟产生一个新目录,一般控制的目录方面。
14. #2017-12-12 -->
15. #2017-12-12 -->%H%M%S
17. a1.sinks.k1.hdfs.round = true
18. a1.sinks.k1.hdfs.roundValue = 10
19. a1.sinks.k1.hdfs.roundUnit = second
21. a1.sinks.k1.hdfs.useLocalTimeStamp=true
23. #是否产生新文件。
24. a1.sinks.k1.hdfs.rollInterval=10
25. a1.sinks.k1.hdfs.rollSize=10
26. a1.sinks.k1.hdfs.rollCount=3
28. a1.channels.c1.type=memory
30. a1.sources.r1.channels = c1
31. a1.sinks.k1.channel = c1

复制代码

一个终端启用文件

1. [root@hadoopha01 job]# flume-ng agent  -f hdfs_k.conf  -n a1

复制代码

另一个终端传输文件

1. [root@hadoopha01 job]# nc 主机名 自己设置端口号

复制代码

 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4