最新消息:深度思考

最新发布 第5页

大数据随笔hadoop/spark/hive

kylin入门到实战:cube详述
kylin

kylin入门到实战:cube详述

liuxuecheng 3年前 (2017-04-14) 8243浏览 1评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.什么是cube? cube是所有dimession的组合,每一种dimession的组合称之为cuboid。某一有n个dimession的cube会有2^n^个cuboid,如图: ...

kylin入门到实战:入门
kylin

kylin入门到实战:入门

liuxuecheng 3年前 (2017-04-12) 6850浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.概述 kylin是一款开源的分布式数据分析工具,基于hadoop之上的sql查询接口,能支持超大规模的数据分析。响应时间在亚秒级别,其核心是预计算,计算结果存放在hbase中。 2....

6.scala中的包
scala

6.scala中的包

liuxuecheng 3年前 (2017-03-21) 2749浏览 2评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.基础特性 scala中的包和java中的包类似,都是用来在大型工程中给类限定一个命名空间。有如下特性: (1)包可以像内部类那样嵌套 (2)包路径不是绝对路径。 (3)包声明链net....

5.scala中的对象
scala

5.scala中的对象

liuxuecheng 3年前 (2017-03-17) 2263浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.单例对象 scala中没有静态类或者静态方法,都是通过object实现的,它表示某个类的单例对象。如object People是class People的单例对象。 2.伴生对象 ja...

4.scala中的类
scala

4.scala中的类

liuxuecheng 3年前 (2017-03-14) 1376浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.针对不同字段生成的方法 字段 生成的方法 备注 var/val name 公有的name和name_=方法(仅var) 可以被公开访问 @BeanProperty v...

使用logrotate做nginx日志分割
linux

使用logrotate做nginx日志分割

liuxuecheng 3年前 (2017-03-13) 2618浏览 2评论

版权申明:转载请注明出处。 文章来源:大数据随笔 背景 nginx是一款非常优秀的网络代理工具,但是其日志管理有点缺憾:nginx的access_log会无限的增长。我们希望的是它能按照日期去做日志分割。一般有两种方法,自己写脚本实现,一...

1.scala中的变量及基础数据类型
scala

1.scala中的变量及基础数据类型

liuxuecheng 3年前 (2017-03-13) 1706浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.scala中的变量 scala中的变量分为不可变变量和可变变量。不可变变量声明为 val a = 0 可变变量声明为 var a = 0 可以不用制定变量的类型,scala语言有强大的...

2.scala控制结构、函数、异常处理
scala

2.scala控制结构、函数、异常处理

liuxuecheng 3年前 (2017-03-13) 2095浏览 1评论

版权申明:转载请注明出处。 文章来源:大数据随笔 2.1条件表达式 (1)if表达式有返回值,如val result = if(x>0) 0 else -1 ,则result值可能为0或-1 (2)if表达式分支语句返回值的类型不一致时,...

3.scala容器
scala

3.scala容器

liuxuecheng 3年前 (2017-03-13) 2099浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 3.1数组 (1) 定长数组(Array) //直接声明使用 val array = Array("a","b","c") //设置数组长度并赋值 val array = new Arr...

spark数据监控实战
spark

spark数据监控实战

liuxuecheng 3年前 (2017-03-13) 2236浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.概述 数据准确性,稳定性,时效性是数据开发中需要重点关注的,一般称之为数据质量。保证数据质量往往会占用数据开发工程师的很多精力,所以一个好的数据监控系统或者一个合理的数据监控方案对于数...