最新消息:深度思考

Java

log4j2+flume传输二进制日志到hdfs

log4j2+flume传输二进制日志到hdfs

liuxuecheng 1年前 (2018-07-19) 5143浏览 4评论

1.背景 当前业务使用TextFile存储日志,每天增量5T左右,集群存储空间有限,且使用TextFile日志的扩展性非常差,因此想到使用protocol buffer序列化数据,后续传输及处理使用二进制。百度+google了一圈发现没有现成案例,所...

avro入门指南(Java实现)

avro入门指南(Java实现)

liuxuecheng 1年前 (2018-07-18) 5631浏览 0评论

1.简介 Avro是一个数据序列化系统,它有以下特性: (1)丰富的数据结构。 (2)一种紧凑、快速的二进制文件格式。 (3)存放持久化数据的容器文件。 (4)远程过程调用。 (5)支持动态语言、使用schema生成代码。 2.引入pom 在加入以下...

log4j2使用指南

log4j2使用指南

liuxuecheng 1年前 (2018-07-14) 3699浏览 0评论

log4j2 是log4j的升级版,在功能和性能上都有很大的提升。 1.常用组件 1.1 Appenders Appender负责将LogEvents传递到目的地。 每个Appender都必须实现Appender接口。 大多数Appender继承自A...

jvm内存模型

jvm内存模型

liuxuecheng 2年前 (2017-10-31) 2413浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 jvm在运行时会将管理的内存划分为多个区域,每个区域都有各自的作用,而且几乎每个区域都会有内存溢出或者泄露的问题。先上一张jvm运行时数据区域图。 1.程序计数器 程序计数器是记录线程执...

Conflicting collector combinations in option list

Conflicting collector combinations in option list

liuxuecheng 2年前 (2017-10-24) 4877浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 最近在对一个项目的jvm参数进行优化的时候发现配置完以后项目无法启动,打印了日志看到如下提示: Conflicting collector combinations in optio...

log4j配置详解及多路径输出配置

log4j配置详解及多路径输出配置

liuxuecheng 2年前 (2017-09-14) 3157浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 前言 连续做了两个月的项目,发现很久没有更新博客了,项目中遇到的很多东西都没时间记录下来。最近在搞ESB,对,现在不仅仅是大数据工程师了,什么都开搞了。以前没怎么深入了解过log4j,趁这...

Java注解之用于源码时的注解(2)

Java注解之用于源码时的注解(2)

liuxuecheng 3年前 (2017-06-27) 3019浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 前面一篇文章Java注解之基本知识已经介绍了什么是Java注解,以及相关的知识,本篇文章将介绍如何自定义一个用于源码时的注解,并自定义注解处理器来处理这个注解。 1.背景 源码时注解我们比...

Java注解之基本知识(1)

Java注解之基本知识(1)

liuxuecheng 3年前 (2017-06-24) 2134浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 Java注解出现的初衷是为了解决大量配置文件带来的问题,现在注解已经变的非常的有用和强大。它可以在你编写源码时提示错误比如常见的@Override,也可以在编译时生成代码,更能在运行时结合...

Protobuffer自定义格式文件的输出与读入

Protobuffer自定义格式文件的输出与读入

liuxuecheng 3年前 (2017-06-15) 2399浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.protobuffer简介 protobuffer是google定义的一种文件交换格式,它独立于语言,独立于平台。目前提供了Java、C++、Python等语言实现,用户只需要定义协议...