Maven打包生成source.jar和Javadoc包
生成jar、source-jar、和doc-jar的三个maven插件 <build> <plugins> <plugin>…
sqoop export数据类型错误解决方法
1.背景 需求是使用sqoop导出HDFS上的数据到MySQL，理论上来说是个很简单的需求，写了个如下的sqoop脚本： sqoop export \ –co…
Hive动态分区Direct buffer memory溢出分析及解决方案
1.背景 使用hive的动态分区(dynamic partition)时,如果最终生成的分区数比较多，会出现jvm直接内存（direct buffer memo…
log4j2+flume传输二进制日志到hdfs
1.背景 当前业务使用TextFile存储日志，每天增量5T左右，集群存储空间有限，且使用TextFile日志的扩展性非常差，因此想到使用protocol bu…
windows环境下安装配置hadoop
在本地安装hadoop可以很方便的连接eclipse等工具调试hadoop源码或者是自己写的yarn应用，下面讲一下如何安装。 1.下载文件 （1）下载hado…
avro入门指南（Java实现）
1.简介 Avro是一个数据序列化系统，它有以下特性： （1）丰富的数据结构。 （2）一种紧凑、快速的二进制文件格式。 （3）存放持久化数据的容器文件。 （4）…
log4j2使用指南
log4j2 是log4j的升级版，在功能和性能上都有很大的提升。 1.常用组件 1.1 Appenders Appender负责将LogEvents传递到目的…
windows下配置flume
1.flume安装与配置 （1）官网下载：http://flume.apache.org/download.html 并解压到自己的目录 （2） 配置环境变量：…
两个指针
总结一下有关两个指针的算法题。这里的指针起游标的作用，一般用在处理字符串或者数组的相关问题上。有两个指针从头尾向中间移动，也有从头到尾一前一后一起移动。 1.求…
各种形式的两数相加
这篇文章总结一下LeetCode上各种形式的两数相加，有两个链表相加、字符串模拟二进制数相加、不使用运算符号的相加等。 1.两个单链表相加，返回一个单链表 In…