log4j2+flume传输二进制日志到hdfs
1.背景 当前业务使用TextFile存储日志，每天增量5T左右，集群存储空间有限，且使用TextFile日志的扩展性非常差，因此想到使用protocol bu…
windows下配置flume
1.flume安装与配置 （1）官网下载：http://flume.apache.org/download.html 并解压到自己的目录 （2） 配置环境变量：…
4.flume sink
1.HDFS Sink hdfs sink支持将text类型或者sequenceFile类型的event写入hdfs，同时也支持在写入的时候进行压缩。 flum…
3.flume channel
版权申明：转载请注明出处。 文章来源：大数据随笔 channel可以理解为一种临时的存储，source将event放入channel ,sink取走它。flum…
2.flume sources
版权申明：转载请注明出处。 文章来源：大数据随笔 flume中提供了多种source来应对不同场景的数据传输，最常用的有exec source和spooling…
1.flume简介
版权申明：转载请注明出处。 文章来源：大数据随笔 1.简介 flume是一个分布式、高可用的系统，它用来收集，合并，移动不同来源的大量数据到一个指定的存储。它不…