spark not serializable异常分析及解决方案
1.背景 在使用spark开发分布式数据计算作业过程中或多或少会遇到如下的错误： Serialization stack: object not seriali…
spark作业配置及spark-submit参数说明
版权申明：转载请注明出处。 文章来源：大数据随笔 1.spark作业配置的三种方式 读取指定配置文件，默认为conf/spark-defaults.conf。 …
spark与hadoop的分布式文件缓存
版权申明：转载请注明出处。 文章来源：大数据随笔 1.简介 分布式计算框架中，各种配置文件、jar包、数据文件等都是通过分布式文件缓存进行下发的。这种方式将作业…
spark-streaming入门实例
版权申明：转载请注明出处。 文章来源：bigdataer.net 1.什么是spark-streaming？ 实际生产中会有许多应用到实时处理的场景，比如：实时…
spark数据监控实战
版权申明：转载请注明出处。 文章来源：大数据随笔 1.概述 数据准确性，稳定性，时效性是数据开发中需要重点关注的，一般称之为数据质量。保证数据质量往往会占用数据…
一篇文章学会spark-streaming
版权申明：转载请注明出处。 文章来源：大数据随笔 1.什么是spark-streaming？ 实际生产中会有许多应用到实时处理的场景，比如：实时监测页面点击，实…