最新消息:深度思考

windows下配置flume

flume liuxuecheng 3394浏览 0评论

1.flume安装与配置

(1)官网下载:http://flume.apache.org/download.html 并解压到自己的目录
(2) 配置环境变量:
新建FLUME_HOME,变量值为flume的安装目录。
编辑系统变量path,添加%FLUME_HOME%/conf;%FLUME_HOME%/bin;
(3)修改flume配置:
修改flume conf目录下的flume-env.sh.template为flume-env.sh,并删掉export JAVA_HOME前面的#,填上自己的JAVA_HOME。注意flume1.8安装版要求的jdk版本为jdk1.8及以上。
(4)验证:
在cmd窗口输入flume-ng version 如果出现版本信息则说明安装配置成功。

2.创建agent

在flume的conf目录下新建一个example.conf文件,写入以下内容:

# example.conf: A single-node Flume configuration

# agent对应的组件名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 创建一个NetCat TCP Source,注意NetCat UDP Source的type为netcatudp
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# 以日志的形式输出
a1.sinks.k1.type = logger

# 配置agent的channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 讲source、sink、channel关联起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

进入到cmd切换到flume的bin目录下执行如下语句:
flume-ng.cmd agent -conf ../conf -conf-file ../conf/example.conf -name a1 -property flume.root.logger=INFO,console
看到如下界面说明启动成功正在等待接收消息。
netcat

打开另外一个cmd窗口,执行telnet localhost 44444,然后输入要发送的内容,就可以在上面的窗口看到。如果Telnet不可用一般是Telnet客户端或服务器功能没开启或者Telnet服务没有开启,可以参照这篇文章:https://jingyan.baidu.com/article/ae97a646b22fb6bbfd461d19.html

转载请注明:大数据随笔 » windows下配置flume

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址