最新消息:深度思考

最新发布 第6页

大数据随笔hadoop/spark/hive

spark数据监控实战
spark

spark数据监控实战

liuxuecheng 5年前 (2017-03-13) 3872浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.概述 数据准确性,稳定性,时效性是数据开发中需要重点关注的,一般称之为数据质量。保证数据质量往往会占用数据开发工程师的很多精力,所以一个好的数据监控系统或者一个合理的数据监控方案对于数...

一篇文章学会spark-streaming
spark-streaming

一篇文章学会spark-streaming

liuxuecheng 5年前 (2017-03-13) 5150浏览 2评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.什么是spark-streaming? 实际生产中会有许多应用到实时处理的场景,比如:实时监测页面点击,实时监测系统异常,实时监测来自于外部的攻击。针对这些场景,twitter研发了实...

如何成为一名大数据开发工程师
经验之谈

如何成为一名大数据开发工程师

liuxuecheng 5年前 (2017-03-11) 12454浏览 0评论

版权申明:转载请注明出处。 文章来源:http://bigdataer.net 1.关于我 本人现在北京某大型互联网公司高级数据开发工程师一枚,三年工作经验,一年多面试官经验。 2.为啥要写这篇文章? 面试中经常会遇到这种情况:之前专心写...

是时候给你的微信公众号请一位专属客服了
微信

是时候给你的微信公众号请一位专属客服了

liuxuecheng 5年前 (2017-03-06) 2118浏览 0评论

1.为什么要写这篇文章? 一是因为经常逛知乎,发现好些知乎大神的签名上都放的自己的微信公众号,但是关注之后就回一句简单的谢谢关注之类的话,缺乏互动性。二来是之前网盘共享了一堆本科生的毕设,为了防止别有用心的人拿去卖,加了密码,想要获取密码的话得加我微...

Hadoop分布式缓存(DistributedCache)
hadoop

Hadoop分布式缓存(DistributedCache)

liuxuecheng 5年前 (2017-01-11) 5478浏览 1评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.前言 DistributedCache是hadoop框架提供的一种机制,可以将job指定的文件,在job执行前,先行分发到task执行的机器上,并有相关机制对cache文件进行管理。 ...