最新消息:深度思考

最新发布 第4页

大数据随笔hadoop/spark/hive

1.flume简介
flume

1.flume简介

liuxuecheng 4年前 (2017-10-10) 2147浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.简介 flume是一个分布式、高可用的系统,它用来收集,合并,移动不同来源的大量数据到一个指定的存储。它不仅限于处理文本类的日志数据,还能处理社交媒体数据,二进制数据以及邮件信息等几乎...

log4j配置详解及多路径输出配置
Java

log4j配置详解及多路径输出配置

liuxuecheng 4年前 (2017-09-14) 4643浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 前言 连续做了两个月的项目,发现很久没有更新博客了,项目中遇到的很多东西都没时间记录下来。最近在搞ESB,对,现在不仅仅是大数据工程师了,什么都开搞了。以前没怎么深入了解过log4j,趁这...

spark作业配置及spark-submit参数说明
spark

spark作业配置及spark-submit参数说明

liuxuecheng 5年前 (2017-07-11) 17236浏览 2评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.spark作业配置的三种方式 读取指定配置文件,默认为conf/spark-defaults.conf。 在程序中的SparkConf中指定,如conf.setAppName(...

Hadoop机架感知
hadoop

Hadoop机架感知

liuxuecheng 5年前 (2017-07-08) 6035浏览 2评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.数据分块 HDFS作为Hadoop中的一个分布式文件系统,而且是专门为它的 MapReduce设计,所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外,还必须为MapReduc...

Java注解之用于源码时的注解(2)
Java

Java注解之用于源码时的注解(2)

liuxuecheng 5年前 (2017-06-27) 4917浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 前面一篇文章Java注解之基本知识已经介绍了什么是Java注解,以及相关的知识,本篇文章将介绍如何自定义一个用于源码时的注解,并自定义注解处理器来处理这个注解。 1.背景 源码时注解我们比...

web端数据采集方案简析
数据收集

web端数据采集方案简析

liuxuecheng 5年前 (2017-06-26) 6152浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.前端埋点数据建设目标及现状分析 准确性 数据的准确性是数据建设的根本,前端数据的准确性目标是与后端数据对齐,但是目前限于js的加载顺序以及网络状况等准确性约为后端数据的90%左右。 ...

Java注解之基本知识(1)
Java

Java注解之基本知识(1)

liuxuecheng 5年前 (2017-06-24) 2954浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 Java注解出现的初衷是为了解决大量配置文件带来的问题,现在注解已经变的非常的有用和强大。它可以在你编写源码时提示错误比如常见的@Override,也可以在编译时生成代码,更能在运行时结合...

本地及MapReduce作业读取SquenceFile
hadoop

本地及MapReduce作业读取SquenceFile

liuxuecheng 5年前 (2017-06-16) 4578浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.SquenceFile简介 (1)SequenceFile是一个由二进制序列化过的key/value的字节流组成的存储文件。 (2)SequenceFile可通过fileWriter....

Protobuffer自定义格式文件的输出与读入
Java

Protobuffer自定义格式文件的输出与读入

liuxuecheng 5年前 (2017-06-15) 3221浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.protobuffer简介 protobuffer是google定义的一种文件交换格式,它独立于语言,独立于平台。目前提供了Java、C++、Python等语言实现,用户只需要定义协议...