解压flume包 到/usr/local/src/目录下
[root@hadoopha01 pack]# tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local/src/
配置flume环境变量
#FLUME_HOME
export FLUME_HOME=/usr/local/src/flume
export PATH=$PATH:$FLUME_HOME/bin
修改flume中flume-env.sh文件，先将修改名称为flume-env.sh，或者直接新建一个
其中配置jdk
export JAVA_HOME=/usr/local/src/jdk
flume,安装成功
查看版本
[root@hadoopha01 conf]# flume-ng version
flume的基本使用
使用flume传输数据至hdfs中
查询dfs中有那些文件
[root@hadoopha01 conf]# hdfs dfs -ls /
创建一个flume文件夹
[root@hadoopha01 conf]# hdfs dfs -mkdir /flume
创建一个job目录用于存放flume配置文件
mkdir job
[root@hadoopha01 job]# vi hdfs_k.conf
文件内容
a1.sources = r1
a1.channels = c1
a1.sinks = k1
a1.sources.r1.type = netcat
a1.sources.r1.bind = 主机名
a1.sources.r1.port = 自己设置端口号
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://主机名称+hdfs端口号/flume/events/%y-%m-%d/%H/%M/%S
a1.sinks.k1.hdfs.filePrefix = events-
#是否是产生新目录,每十分钟产生一个新目录,一般控制的目录方面。
#2017-12-12 -->
#2017-12-12 -->%H%M%S
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = second
a1.sinks.k1.hdfs.useLocalTimeStamp=true
#是否产生新文件。
a1.sinks.k1.hdfs.rollInterval=10
a1.sinks.k1.hdfs.rollSize=10
a1.sinks.k1.hdfs.rollCount=3
a1.channels.c1.type=memory
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
一个终端启用文件
[root@hadoopha01 job]# flume-ng agent -f hdfs_k.conf -n a1
另一个终端传输文件
[root@hadoopha01 job]# nc 主机名 自己设置端口号
内容来源于网络如有侵权请私信删除
文章来源: 博客园
- 还没有人评论，欢迎说说您的想法！
客服
