最新消息:深度思考

最新发布 第5页

大数据随笔hadoop/spark/hive

spark与hadoop的分布式文件缓存
hadoop

spark与hadoop的分布式文件缓存

liuxuecheng 5年前 (2017-06-14) 4717浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.简介 分布式计算框架中,各种配置文件、jar包、数据文件等都是通过分布式文件缓存进行下发的。这种方式将作业所需的资源文件下发到执行作业的各个节点上,作业执行过程中文件不再改动。 关于h...

spark-streaming入门实例
spark-streaming

spark-streaming入门实例

liuxuecheng 5年前 (2017-06-08) 5613浏览 2评论

版权申明:转载请注明出处。 文章来源:bigdataer.net 1.什么是spark-streaming? 实际生产中会有许多应用到实时处理的场景,比如:实时监测页面点击,实时监测系统异常,实时监测来自于外部的攻击。针对这些场景,twi...

scala中的高阶函数
scala

scala中的高阶函数

liuxuecheng 5年前 (2017-06-08) 2952浏览 0评论

版权申明:转载请注明出处。 文章来源:http://bigdataer.net 1.scala中的函数 scala是一门面向对象和函数式编程相结合的语言,前面的文章已经讲了类、对象、继承等面向对象特有的语言特性,接下来将关注一下函数式编程...

使用@Named注解绑定多个实现(java,scala)
guice

使用@Named注解绑定多个实现(java,scala)

liuxuecheng 5年前 (2017-06-06) 4632浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.背景 最近项目中使用了guice作为依赖注入的框架。碰到一个如下的场景: 定义了一个从不同渠道输入数据的接口AbstractImporter,设计之初的目标是抽象从hdfs,kafka...

scala中的特质
scala

scala中的特质

liuxuecheng 5年前 (2017-04-26) 2661浏览 1评论

版权申明:转载请注明出处。 文章来源:大数据随笔 总体来说,scala中的特质类似于Java中的接口,但是有别于接口的是特质中既可以有实现方法也可以有抽象方法。 1.特质的定义 使用关键字trait来定义一个特质,如: trait Log...

scala中的继承
scala

scala中的继承

liuxuecheng 5年前 (2017-04-24) 2975浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 类似于java中的继承,在scala中同样有继承一说,而且在很多方面和java中的继承非常的类似,下面详细说明。 1.关键字及重写 scala中表示继承的关键字为extends,如下代码,...

kylin从入门到实战:具体案例
kylin

kylin从入门到实战:具体案例

liuxuecheng 5年前 (2017-04-14) 14502浏览 2评论

版权申明:转载请注明出处。 文章来源:大数据随笔 前面两篇文章已经介绍了kylin的相关概念以及cube的一些原理,这篇文章将从一个实际的案例入手,介绍如何在kylin平台上创建一个多维分析项目。 1.创建project 进入kylin操...

kylin入门到实战:cube详述
kylin

kylin入门到实战:cube详述

liuxuecheng 5年前 (2017-04-14) 10865浏览 1评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.什么是cube? cube是所有dimession的组合,每一种dimession的组合称之为cuboid。某一有n个dimession的cube会有2^n^个cuboid,如图: ...

kylin入门到实战:入门
kylin

kylin入门到实战:入门

liuxuecheng 5年前 (2017-04-12) 8466浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.概述 kylin是一款开源的分布式数据分析工具,基于hadoop之上的sql查询接口,能支持超大规模的数据分析。响应时间在亚秒级别,其核心是预计算,计算结果存放在hbase中。 2....

6.scala中的包
scala

6.scala中的包

liuxuecheng 5年前 (2017-03-21) 3740浏览 2评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.基础特性 scala中的包和java中的包类似,都是用来在大型工程中给类限定一个命名空间。有如下特性: (1)包可以像内部类那样嵌套 (2)包路径不是绝对路径。 (3)包声明链net....