最新消息:深度思考

最新发布 第3页

大数据随笔hadoop/spark/hive

HDFS压缩与解压工具
hadoop

HDFS压缩与解压工具

liuxuecheng 2年前 (2017-10-17) 3827浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.压缩方式及实现类 hdfs上解压和压缩文件不像本地这么方便,所以写了一个工具。可以解压和压缩,使用的时候指定压缩或者解压使用的类就行。先列举一下hdfs各种压缩及解压方式的实现类: ...

3.flume channel
flume

3.flume channel

liuxuecheng 2年前 (2017-10-17) 4222浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 channel可以理解为一种临时的存储,source将event放入channel ,sink取走它。flume提供了四种可以用于生产环境的channel。 1.Memory Channe...

2.flume sources
flume

2.flume sources

liuxuecheng 2年前 (2017-10-16) 3285浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 flume中提供了多种source来应对不同场景的数据传输,最常用的有exec source和spooling directory source。下面对flume的source做详细的说明...

1.flume简介
flume

1.flume简介

liuxuecheng 2年前 (2017-10-10) 1389浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.简介 flume是一个分布式、高可用的系统,它用来收集,合并,移动不同来源的大量数据到一个指定的存储。它不仅限于处理文本类的日志数据,还能处理社交媒体数据,二进制数据以及邮件信息等几乎...

log4j配置详解及多路径输出配置
Java

log4j配置详解及多路径输出配置

liuxuecheng 2年前 (2017-09-14) 3151浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 前言 连续做了两个月的项目,发现很久没有更新博客了,项目中遇到的很多东西都没时间记录下来。最近在搞ESB,对,现在不仅仅是大数据工程师了,什么都开搞了。以前没怎么深入了解过log4j,趁这...

spark作业配置及spark-submit参数说明
spark

spark作业配置及spark-submit参数说明

liuxuecheng 2年前 (2017-07-11) 11406浏览 2评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.spark作业配置的三种方式 读取指定配置文件,默认为conf/spark-defaults.conf。 在程序中的SparkConf中指定,如conf.setAppName(...

Hadoop机架感知
hadoop

Hadoop机架感知

liuxuecheng 2年前 (2017-07-08) 4613浏览 2评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.数据分块 HDFS作为Hadoop中的一个分布式文件系统,而且是专门为它的 MapReduce设计,所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外,还必须为MapReduc...

Java注解之用于源码时的注解(2)
Java

Java注解之用于源码时的注解(2)

liuxuecheng 3年前 (2017-06-27) 3005浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 前面一篇文章Java注解之基本知识已经介绍了什么是Java注解,以及相关的知识,本篇文章将介绍如何自定义一个用于源码时的注解,并自定义注解处理器来处理这个注解。 1.背景 源码时注解我们比...

web端数据采集方案简析
数据收集

web端数据采集方案简析

liuxuecheng 3年前 (2017-06-26) 4584浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.前端埋点数据建设目标及现状分析 准确性 数据的准确性是数据建设的根本,前端数据的准确性目标是与后端数据对齐,但是目前限于js的加载顺序以及网络状况等准确性约为后端数据的90%左右。 ...

Java注解之基本知识(1)
Java

Java注解之基本知识(1)

liuxuecheng 3年前 (2017-06-24) 2132浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 Java注解出现的初衷是为了解决大量配置文件带来的问题,现在注解已经变的非常的有用和强大。它可以在你编写源码时提示错误比如常见的@Override,也可以在编译时生成代码,更能在运行时结合...