liuxuecheng 4年前 (2017-10-10) 2147浏览 0评论

版权申明：转载请注明出处。 文章来源：大数据随笔 1.简介 flume是一个分布式、高可用的系统，它用来收集，合并，移动不同来源的大量数据到一个指定的存储。它不仅限于处理文本类的日志数据，还能处理社交媒体数据，二进制数据以及邮件信息等几乎...

liuxuecheng 4年前 (2017-09-14) 4643浏览 0评论

版权申明：转载请注明出处。 文章来源：大数据随笔 前言 连续做了两个月的项目，发现很久没有更新博客了，项目中遇到的很多东西都没时间记录下来。最近在搞ESB，对，现在不仅仅是大数据工程师了，什么都开搞了。以前没怎么深入了解过log4j，趁这...

liuxuecheng 5年前 (2017-07-11) 17236浏览 2评论

版权申明：转载请注明出处。 文章来源：大数据随笔 1.spark作业配置的三种方式 读取指定配置文件，默认为conf/spark-defaults.conf。 在程序中的SparkConf中指定，如conf.setAppName(...

liuxuecheng 5年前 (2017-07-08) 6035浏览 2评论

版权申明：转载请注明出处。 文章来源：大数据随笔 1.数据分块 HDFS作为Hadoop中的一个分布式文件系统，而且是专门为它的 MapReduce设计，所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外，还必须为MapReduc...

liuxuecheng 5年前 (2017-06-27) 4917浏览 0评论

版权申明：转载请注明出处。 文章来源：大数据随笔 前面一篇文章Java注解之基本知识已经介绍了什么是Java注解，以及相关的知识，本篇文章将介绍如何自定义一个用于源码时的注解，并自定义注解处理器来处理这个注解。 1.背景 源码时注解我们比...

liuxuecheng 5年前 (2017-06-26) 6152浏览 0评论

版权申明：转载请注明出处。 文章来源：大数据随笔 1.前端埋点数据建设目标及现状分析 准确性 数据的准确性是数据建设的根本，前端数据的准确性目标是与后端数据对齐，但是目前限于js的加载顺序以及网络状况等准确性约为后端数据的90%左右。 ...

liuxuecheng 5年前 (2017-06-24) 2954浏览 0评论

版权申明：转载请注明出处。 文章来源：大数据随笔 Java注解出现的初衷是为了解决大量配置文件带来的问题，现在注解已经变的非常的有用和强大。它可以在你编写源码时提示错误比如常见的@Override,也可以在编译时生成代码，更能在运行时结合...

liuxuecheng 5年前 (2017-06-22) 3217浏览 0评论

版权申明：转载请注明出处。 文章来源：大数据随笔 1.问题描述 最近在搞注解处理器，继承了javax.annotation.processing.AbstractProcessor，idea编辑器提示Usage of API docume...

liuxuecheng 5年前 (2017-06-16) 4578浏览 0评论

版权申明：转载请注明出处。 文章来源：大数据随笔 1.SquenceFile简介 （1）SequenceFile是一个由二进制序列化过的key/value的字节流组成的存储文件。 （2）SequenceFile可通过fileWriter....

liuxuecheng 5年前 (2017-06-15) 3221浏览 0评论

版权申明：转载请注明出处。 文章来源：大数据随笔 1.protobuffer简介 protobuffer是google定义的一种文件交换格式，它独立于语言，独立于平台。目前提供了Java、C++、Python等语言实现，用户只需要定义协议...