最新消息:深度思考

liuxuecheng的文章

web端数据采集方案简析
数据收集

web端数据采集方案简析

3年前 (2017-06-26) 5600浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.前端埋点数据建设目标及现状分析 准确性 数据的准确性是数据建设的根本,前端数据的准确性目标是与后端数据对齐,但是目前限于js的加载顺序以及网络状况等准确性约为后端数据的90%左右。 ...

Java注解之基本知识(1)
Java

Java注解之基本知识(1)

3年前 (2017-06-24) 2594浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 Java注解出现的初衷是为了解决大量配置文件带来的问题,现在注解已经变的非常的有用和强大。它可以在你编写源码时提示错误比如常见的@Override,也可以在编译时生成代码,更能在运行时结合...

本地及MapReduce作业读取SquenceFile
hadoop

本地及MapReduce作业读取SquenceFile

3年前 (2017-06-16) 4016浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.SquenceFile简介 (1)SequenceFile是一个由二进制序列化过的key/value的字节流组成的存储文件。 (2)SequenceFile可通过fileWriter....

Protobuffer自定义格式文件的输出与读入
Java

Protobuffer自定义格式文件的输出与读入

3年前 (2017-06-15) 2927浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.protobuffer简介 protobuffer是google定义的一种文件交换格式,它独立于语言,独立于平台。目前提供了Java、C++、Python等语言实现,用户只需要定义协议...

spark与hadoop的分布式文件缓存
hadoop

spark与hadoop的分布式文件缓存

3年前 (2017-06-14) 3967浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.简介 分布式计算框架中,各种配置文件、jar包、数据文件等都是通过分布式文件缓存进行下发的。这种方式将作业所需的资源文件下发到执行作业的各个节点上,作业执行过程中文件不再改动。 关于h...

spark-streaming入门实例
spark-streaming

spark-streaming入门实例

3年前 (2017-06-08) 5067浏览 2评论

版权申明:转载请注明出处。 文章来源:bigdataer.net 1.什么是spark-streaming? 实际生产中会有许多应用到实时处理的场景,比如:实时监测页面点击,实时监测系统异常,实时监测来自于外部的攻击。针对这些场景,twi...

scala中的高阶函数
scala

scala中的高阶函数

3年前 (2017-06-08) 2600浏览 0评论

版权申明:转载请注明出处。 文章来源:http://bigdataer.net 1.scala中的函数 scala是一门面向对象和函数式编程相结合的语言,前面的文章已经讲了类、对象、继承等面向对象特有的语言特性,接下来将关注一下函数式编程...

使用@Named注解绑定多个实现(java,scala)
guice

使用@Named注解绑定多个实现(java,scala)

3年前 (2017-06-06) 4130浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.背景 最近项目中使用了guice作为依赖注入的框架。碰到一个如下的场景: 定义了一个从不同渠道输入数据的接口AbstractImporter,设计之初的目标是抽象从hdfs,kafka...

scala中的特质
scala

scala中的特质

3年前 (2017-04-26) 2199浏览 1评论

版权申明:转载请注明出处。 文章来源:大数据随笔 总体来说,scala中的特质类似于Java中的接口,但是有别于接口的是特质中既可以有实现方法也可以有抽象方法。 1.特质的定义 使用关键字trait来定义一个特质,如: trait Log...