flume

liuxuecheng 4年前 (2018-07-19) 7597浏览 4评论

1.背景 当前业务使用TextFile存储日志，每天增量5T左右，集群存储空间有限，且使用TextFile日志的扩展性非常差，因此想到使用protocol buffer序列化数据，后续传输及处理使用二进制。百度+google了一圈发现没有现成案例，所...

liuxuecheng 4年前 (2018-06-29) 5480浏览 0评论

1.flume安装与配置 （1）官网下载：http://flume.apache.org/download.html 并解压到自己的目录 （2） 配置环境变量： 新建FLUME_HOME,变量值为flume的安装目录。 编辑系统变量p...

liuxuecheng 4年前 (2017-10-27) 4111浏览 0评论

1.HDFS Sink hdfs sink支持将text类型或者sequenceFile类型的event写入hdfs，同时也支持在写入的时候进行压缩。 flume使用hadoop提供的FileSystem相关的操作工具，使用hsync或者hflush...

liuxuecheng 4年前 (2017-10-17) 6850浏览 0评论

版权申明：转载请注明出处。 文章来源：大数据随笔 channel可以理解为一种临时的存储，source将event放入channel ,sink取走它。flume提供了四种可以用于生产环境的channel。 1.Memory Channe...

liuxuecheng 4年前 (2017-10-16) 5291浏览 0评论

版权申明：转载请注明出处。 文章来源：大数据随笔 flume中提供了多种source来应对不同场景的数据传输，最常用的有exec source和spooling directory source。下面对flume的source做详细的说明...

liuxuecheng 4年前 (2017-10-10) 2147浏览 0评论

版权申明：转载请注明出处。 文章来源：大数据随笔 1.简介 flume是一个分布式、高可用的系统，它用来收集，合并，移动不同来源的大量数据到一个指定的存储。它不仅限于处理文本类的日志数据，还能处理社交媒体数据，二进制数据以及邮件信息等几乎...