1.flume安装与配置
(1)官网下载:http://flume.apache.org/download.html 并解压到自己的目录
(2) 配置环境变量:
新建FLUME_HOME,变量值为flume的安装目录。
编辑系统变量path,添加%FLUME_HOME%/conf;%FLUME_HOME%/bin;
(3)修改flume配置:
修改flume conf目录下的flume-env.sh.template为flume-env.sh,并删掉export JAVA_HOME前面的#,填上自己的JAVA_HOME。注意flume1.8安装版要求的jdk版本为jdk1.8及以上。
(4)验证:
在cmd窗口输入flume-ng version 如果出现版本信息则说明安装配置成功。
2.创建agent
在flume的conf目录下新建一个example.conf文件,写入以下内容:
# example.conf: A single-node Flume configuration
# agent对应的组件名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 创建一个NetCat TCP Source,注意NetCat UDP Source的type为netcatudp
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# 以日志的形式输出
a1.sinks.k1.type = logger
# 配置agent的channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# 讲source、sink、channel关联起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
进入到cmd切换到flume的bin目录下执行如下语句:
flume-ng.cmd agent -conf ../conf -conf-file ../conf/example.conf -name a1 -property flume.root.logger=INFO,console
看到如下界面说明启动成功正在等待接收消息。
打开另外一个cmd窗口,执行telnet localhost 44444,然后输入要发送的内容,就可以在上面的窗口看到。如果Telnet不可用一般是Telnet客户端或服务器功能没开启或者Telnet服务没有开启,可以参照这篇文章:https://jingyan.baidu.com/article/ae97a646b22fb6bbfd461d19.html