最新消息:深度思考

liuxuecheng的文章

Ideal Mathematics Tutor
hadoop

Ideal Mathematics Tutor

1个月前 (06-28) 118浏览

Locating the Ideal Mathematics Tutor Math tutors, tutors of almost any issue for that matter, would be the type of men and wo...

sqoop export数据类型错误解决方法
sqoop

sqoop export数据类型错误解决方法

2年前 (2018-10-16) 3903浏览 0评论

1.背景 需求是使用sqoop导出HDFS上的数据到MySQL,理论上来说是个很简单的需求,写了个如下的sqoop脚本: sqoop export \ --connect jdbc:mysql://host:port/db \ --username ...

log4j2+flume传输二进制日志到hdfs
flume

log4j2+flume传输二进制日志到hdfs

2年前 (2018-07-19) 6559浏览 4评论

1.背景 当前业务使用TextFile存储日志,每天增量5T左右,集群存储空间有限,且使用TextFile日志的扩展性非常差,因此想到使用protocol buffer序列化数据,后续传输及处理使用二进制。百度+google了一圈发现没有现成案例,所...

windows环境下安装配置hadoop
hadoop

windows环境下安装配置hadoop

2年前 (2018-07-19) 3509浏览 0评论

在本地安装hadoop可以很方便的连接eclipse等工具调试hadoop源码或者是自己写的yarn应用,下面讲一下如何安装。 1.下载文件 (1)下载hadoop,建议2.x版本(这里使用的是hadoop2.5.2)并解压到本地目录。 (2)下载h...

avro入门指南(Java实现)
Java

avro入门指南(Java实现)

2年前 (2018-07-18) 7379浏览 0评论

1.简介 Avro是一个数据序列化系统,它有以下特性: (1)丰富的数据结构。 (2)一种紧凑、快速的二进制文件格式。 (3)存放持久化数据的容器文件。 (4)远程过程调用。 (5)支持动态语言、使用schema生成代码。 2.引入pom 在加入以下...

log4j2使用指南
Java

log4j2使用指南

2年前 (2018-07-14) 5685浏览 0评论

log4j2 是log4j的升级版,在功能和性能上都有很大的提升。 1.常用组件 1.1 Appenders Appender负责将LogEvents传递到目的地。 每个Appender都必须实现Appender接口。 大多数Appender继承自A...

windows下配置flume
flume

windows下配置flume

2年前 (2018-06-29) 4816浏览 0评论

1.flume安装与配置 (1)官网下载:http://flume.apache.org/download.html 并解压到自己的目录 (2) 配置环境变量: 新建FLUME_HOME,变量值为flume的安装目录。 编辑系统变量p...