最新消息:深度思考

标签:flume

log4j2+flume传输二进制日志到hdfs
flume

log4j2+flume传输二进制日志到hdfs

liuxuecheng 1年前 (2018-07-19) 5127浏览 4评论

1.背景 当前业务使用TextFile存储日志,每天增量5T左右,集群存储空间有限,且使用TextFile日志的扩展性非常差,因此想到使用protocol buffer序列化数据,后续传输及处理使用二进制。百度+google了一圈发现没有现成案例,所...

log4j2使用指南
Java

log4j2使用指南

liuxuecheng 1年前 (2018-07-14) 3685浏览 0评论

log4j2 是log4j的升级版,在功能和性能上都有很大的提升。 1.常用组件 1.1 Appenders Appender负责将LogEvents传递到目的地。 每个Appender都必须实现Appender接口。 大多数Appender继承自A...

windows下配置flume
flume

windows下配置flume

liuxuecheng 1年前 (2018-06-29) 3384浏览 0评论

1.flume安装与配置 (1)官网下载:http://flume.apache.org/download.html 并解压到自己的目录 (2) 配置环境变量: 新建FLUME_HOME,变量值为flume的安装目录。 编辑系统变量p...

4.flume sink
flume

4.flume sink

liuxuecheng 2年前 (2017-10-27) 2943浏览 0评论

1.HDFS Sink hdfs sink支持将text类型或者sequenceFile类型的event写入hdfs,同时也支持在写入的时候进行压缩。 flume使用hadoop提供的FileSystem相关的操作工具,使用hsync或者hflush...

3.flume channel
flume

3.flume channel

liuxuecheng 2年前 (2017-10-17) 4222浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 channel可以理解为一种临时的存储,source将event放入channel ,sink取走它。flume提供了四种可以用于生产环境的channel。 1.Memory Channe...

2.flume sources
flume

2.flume sources

liuxuecheng 2年前 (2017-10-16) 3285浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 flume中提供了多种source来应对不同场景的数据传输,最常用的有exec source和spooling directory source。下面对flume的source做详细的说明...

1.flume简介
flume

1.flume简介

liuxuecheng 2年前 (2017-10-10) 1389浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.简介 flume是一个分布式、高可用的系统,它用来收集,合并,移动不同来源的大量数据到一个指定的存储。它不仅限于处理文本类的日志数据,还能处理社交媒体数据,二进制数据以及邮件信息等几乎...