最新消息:深度思考

liuxuecheng的文章

4.flume sink
flume

4.flume sink

3年前 (2017-10-27) 3695浏览 0评论

1.HDFS Sink hdfs sink支持将text类型或者sequenceFile类型的event写入hdfs,同时也支持在写入的时候进行压缩。 flume使用hadoop提供的FileSystem相关的操作工具,使用hsync或者hflush...

Conflicting collector combinations in option list
Java

Conflicting collector combinations in option list

3年前 (2017-10-24) 6765浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 最近在对一个项目的jvm参数进行优化的时候发现配置完以后项目无法启动,打印了日志看到如下提示: Conflicting collector combinations in optio...

HDFS压缩与解压工具
hadoop

HDFS压缩与解压工具

3年前 (2017-10-17) 5079浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.压缩方式及实现类 hdfs上解压和压缩文件不像本地这么方便,所以写了一个工具。可以解压和压缩,使用的时候指定压缩或者解压使用的类就行。先列举一下hdfs各种压缩及解压方式的实现类: ...

3.flume channel
flume

3.flume channel

3年前 (2017-10-17) 5994浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 channel可以理解为一种临时的存储,source将event放入channel ,sink取走它。flume提供了四种可以用于生产环境的channel。 1.Memory Channe...

2.flume sources
flume

2.flume sources

3年前 (2017-10-16) 4679浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 flume中提供了多种source来应对不同场景的数据传输,最常用的有exec source和spooling directory source。下面对flume的source做详细的说明...

1.flume简介
flume

1.flume简介

3年前 (2017-10-10) 1841浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.简介 flume是一个分布式、高可用的系统,它用来收集,合并,移动不同来源的大量数据到一个指定的存储。它不仅限于处理文本类的日志数据,还能处理社交媒体数据,二进制数据以及邮件信息等几乎...

log4j配置详解及多路径输出配置
Java

log4j配置详解及多路径输出配置

3年前 (2017-09-14) 4077浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 前言 连续做了两个月的项目,发现很久没有更新博客了,项目中遇到的很多东西都没时间记录下来。最近在搞ESB,对,现在不仅仅是大数据工程师了,什么都开搞了。以前没怎么深入了解过log4j,趁这...

spark作业配置及spark-submit参数说明
spark

spark作业配置及spark-submit参数说明

3年前 (2017-07-11) 15276浏览 2评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.spark作业配置的三种方式 读取指定配置文件,默认为conf/spark-defaults.conf。 在程序中的SparkConf中指定,如conf.setAppName(...

Hadoop机架感知
hadoop

Hadoop机架感知

3年前 (2017-07-08) 5581浏览 2评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.数据分块 HDFS作为Hadoop中的一个分布式文件系统,而且是专门为它的 MapReduce设计,所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外,还必须为MapReduc...

Java注解之用于源码时的注解(2)
Java

Java注解之用于源码时的注解(2)

3年前 (2017-06-27) 4169浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 前面一篇文章Java注解之基本知识已经介绍了什么是Java注解,以及相关的知识,本篇文章将介绍如何自定义一个用于源码时的注解,并自定义注解处理器来处理这个注解。 1.背景 源码时注解我们比...