liuxuecheng 3年前 (2017-06-22) 2461浏览 0评论

版权申明：转载请注明出处。 文章来源：大数据随笔 1.问题描述 最近在搞注解处理器，继承了javax.annotation.processing.AbstractProcessor，idea编辑器提示Usage of API docume...

liuxuecheng 3年前 (2017-06-16) 3145浏览 0评论

版权申明：转载请注明出处。 文章来源：大数据随笔 1.SquenceFile简介 （1）SequenceFile是一个由二进制序列化过的key/value的字节流组成的存储文件。 （2）SequenceFile可通过fileWriter....

liuxuecheng 3年前 (2017-06-15) 2507浏览 0评论

版权申明：转载请注明出处。 文章来源：大数据随笔 1.protobuffer简介 protobuffer是google定义的一种文件交换格式，它独立于语言，独立于平台。目前提供了Java、C++、Python等语言实现，用户只需要定义协议...

liuxuecheng 3年前 (2017-06-14) 3115浏览 0评论

版权申明：转载请注明出处。 文章来源：大数据随笔 1.简介 分布式计算框架中，各种配置文件、jar包、数据文件等都是通过分布式文件缓存进行下发的。这种方式将作业所需的资源文件下发到执行作业的各个节点上，作业执行过程中文件不再改动。 关于h...

liuxuecheng 3年前 (2017-06-08) 4413浏览 2评论

版权申明：转载请注明出处。 文章来源：bigdataer.net 1.什么是spark-streaming？ 实际生产中会有许多应用到实时处理的场景，比如：实时监测页面点击，实时监测系统异常，实时监测来自于外部的攻击。针对这些场景，twi...

liuxuecheng 3年前 (2017-06-08) 2218浏览 0评论

版权申明：转载请注明出处。 文章来源：http://bigdataer.net 1.scala中的函数 scala是一门面向对象和函数式编程相结合的语言，前面的文章已经讲了类、对象、继承等面向对象特有的语言特性，接下来将关注一下函数式编程...

liuxuecheng 3年前 (2017-06-06) 3612浏览 0评论

版权申明：转载请注明出处。 文章来源：大数据随笔 1.背景 最近项目中使用了guice作为依赖注入的框架。碰到一个如下的场景： 定义了一个从不同渠道输入数据的接口AbstractImporter,设计之初的目标是抽象从hdfs，kafka...

liuxuecheng 3年前 (2017-04-26) 1849浏览 1评论

版权申明：转载请注明出处。 文章来源：大数据随笔 总体来说，scala中的特质类似于Java中的接口，但是有别于接口的是特质中既可以有实现方法也可以有抽象方法。 1.特质的定义 使用关键字trait来定义一个特质，如： trait Log...

liuxuecheng 3年前 (2017-04-24) 2145浏览 0评论

版权申明：转载请注明出处。 文章来源：大数据随笔 类似于java中的继承，在scala中同样有继承一说，而且在很多方面和java中的继承非常的类似，下面详细说明。 1.关键字及重写 scala中表示继承的关键字为extends,如下代码，...

liuxuecheng 3年前 (2017-04-14) 11267浏览 2评论

版权申明：转载请注明出处。 文章来源：大数据随笔 前面两篇文章已经介绍了kylin的相关概念以及cube的一些原理，这篇文章将从一个实际的案例入手，介绍如何在kylin平台上创建一个多维分析项目。 1.创建project 进入kylin操...