《曾国藩家书》读书笔记-修身篇

来阿里两年多,眼看服务器要到期了,博客也荒废了好久。最近读了挺久《曾国藩家书》,写点读书笔记吧。 接触这本书,还是家里长辈极力推荐。说实话对于晚清的历史、人物我…

Maven打包生成source.jar和Javadoc包

生成jar、source-jar、和doc-jar的三个maven插件 <build> <plugins> <plugin>…

sqoop export数据类型错误解决方法

1.背景 需求是使用sqoop导出HDFS上的数据到MySQL,理论上来说是个很简单的需求,写了个如下的sqoop脚本: sqoop export \ –co…

Hive动态分区Direct buffer memory溢出分析及解决方案

1.背景 使用hive的动态分区(dynamic partition)时,如果最终生成的分区数比较多,会出现jvm直接内存(direct buffer memo…

log4j2+flume传输二进制日志到hdfs

1.背景 当前业务使用TextFile存储日志,每天增量5T左右,集群存储空间有限,且使用TextFile日志的扩展性非常差,因此想到使用protocol bu…

windows环境下安装配置hadoop

在本地安装hadoop可以很方便的连接eclipse等工具调试hadoop源码或者是自己写的yarn应用,下面讲一下如何安装。 1.下载文件 (1)下载hado…

avro入门指南(Java实现)

1.简介 Avro是一个数据序列化系统,它有以下特性: (1)丰富的数据结构。 (2)一种紧凑、快速的二进制文件格式。 (3)存放持久化数据的容器文件。 (4)…

log4j2使用指南

log4j2 是log4j的升级版,在功能和性能上都有很大的提升。 1.常用组件 1.1 Appenders Appender负责将LogEvents传递到目的…

windows下配置flume

1.flume安装与配置 (1)官网下载:http://flume.apache.org/download.html 并解压到自己的目录 (2) 配置环境变量:…

两个指针

总结一下有关两个指针的算法题。这里的指针起游标的作用,一般用在处理字符串或者数组的相关问题上。有两个指针从头尾向中间移动,也有从头到尾一前一后一起移动。 1.求…