最新消息:深度思考

flume

log4j2+flume传输二进制日志到hdfs

log4j2+flume传输二进制日志到hdfs

liuxuecheng 1年前 (2018-07-19) 5143浏览 4评论

1.背景 当前业务使用TextFile存储日志,每天增量5T左右,集群存储空间有限,且使用TextFile日志的扩展性非常差,因此想到使用protocol buffer序列化数据,后续传输及处理使用二进制。百度+google了一圈发现没有现成案例,所...

windows下配置flume

windows下配置flume

liuxuecheng 1年前 (2018-06-29) 3394浏览 0评论

1.flume安装与配置 (1)官网下载:http://flume.apache.org/download.html 并解压到自己的目录 (2) 配置环境变量: 新建FLUME_HOME,变量值为flume的安装目录。 编辑系统变量p...

4.flume sink

4.flume sink

liuxuecheng 2年前 (2017-10-27) 2953浏览 0评论

1.HDFS Sink hdfs sink支持将text类型或者sequenceFile类型的event写入hdfs,同时也支持在写入的时候进行压缩。 flume使用hadoop提供的FileSystem相关的操作工具,使用hsync或者hflush...

3.flume channel

3.flume channel

liuxuecheng 2年前 (2017-10-17) 4230浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 channel可以理解为一种临时的存储,source将event放入channel ,sink取走它。flume提供了四种可以用于生产环境的channel。 1.Memory Channe...

2.flume sources

2.flume sources

liuxuecheng 2年前 (2017-10-16) 3297浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 flume中提供了多种source来应对不同场景的数据传输,最常用的有exec source和spooling directory source。下面对flume的source做详细的说明...

1.flume简介

1.flume简介

liuxuecheng 2年前 (2017-10-10) 1391浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.简介 flume是一个分布式、高可用的系统,它用来收集,合并,移动不同来源的大量数据到一个指定的存储。它不仅限于处理文本类的日志数据,还能处理社交媒体数据,二进制数据以及邮件信息等几乎...