log4j2+flume传输二进制日志到hdfs
liuxuecheng 4年前 (2018-07-19) 8371浏览 4评论
1.背景 当前业务使用TextFile存储日志,每天增量5T左右,集群存储空间有限,且使用TextFile日志的扩展性非常差,因此想到使用protocol buffer序列化数据,后续传输及处理使用二进制。百度+google了一圈发现没有现成案例,所...
liuxuecheng 4年前 (2018-07-19) 8371浏览 4评论
1.背景 当前业务使用TextFile存储日志,每天增量5T左右,集群存储空间有限,且使用TextFile日志的扩展性非常差,因此想到使用protocol buffer序列化数据,后续传输及处理使用二进制。百度+google了一圈发现没有现成案例,所...
liuxuecheng 5年前 (2017-09-14) 5051浏览 0评论
版权申明:转载请注明出处。 文章来源:大数据随笔 前言 连续做了两个月的项目,发现很久没有更新博客了,项目中遇到的很多东西都没时间记录下来。最近在搞ESB,对,现在不仅仅是大数据工程师了,什么都开搞了。以前没怎么深入了解过log4j,趁这...