最新消息:深度思考

标签:hdfs

log4j2+flume传输二进制日志到hdfs
flume

log4j2+flume传输二进制日志到hdfs

liuxuecheng 1年前 (2018-07-19) 5143浏览 4评论

1.背景 当前业务使用TextFile存储日志,每天增量5T左右,集群存储空间有限,且使用TextFile日志的扩展性非常差,因此想到使用protocol buffer序列化数据,后续传输及处理使用二进制。百度+google了一圈发现没有现成案例,所...

4.flume sink
flume

4.flume sink

liuxuecheng 2年前 (2017-10-27) 2953浏览 0评论

1.HDFS Sink hdfs sink支持将text类型或者sequenceFile类型的event写入hdfs,同时也支持在写入的时候进行压缩。 flume使用hadoop提供的FileSystem相关的操作工具,使用hsync或者hflush...

HDFS压缩与解压工具
hadoop

HDFS压缩与解压工具

liuxuecheng 2年前 (2017-10-17) 3839浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.压缩方式及实现类 hdfs上解压和压缩文件不像本地这么方便,所以写了一个工具。可以解压和压缩,使用的时候指定压缩或者解压使用的类就行。先列举一下hdfs各种压缩及解压方式的实现类: ...