最新消息:深度思考

标签:kafka

1.kafka简介
kafka

1.kafka简介

liuxuecheng 2年前 (2017-11-06) 2773浏览 0评论

1.简介 kafka是由LinkedIn开源的一款分布式消息系统,使用scala语言开发,因其可扩展性和高吞吐率而被广泛使用。 开源到Apache以后已发展成一个分布式的实时处理平台,它具有以下特性: * 可以发布-订阅消息,作为ESB使用。 * 可...

4.flume sink
flume

4.flume sink

liuxuecheng 2年前 (2017-10-27) 2943浏览 0评论

1.HDFS Sink hdfs sink支持将text类型或者sequenceFile类型的event写入hdfs,同时也支持在写入的时候进行压缩。 flume使用hadoop提供的FileSystem相关的操作工具,使用hsync或者hflush...

一篇文章学会spark-streaming
spark-streaming

一篇文章学会spark-streaming

liuxuecheng 3年前 (2017-03-13) 3358浏览 2评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.什么是spark-streaming? 实际生产中会有许多应用到实时处理的场景,比如:实时监测页面点击,实时监测系统异常,实时监测来自于外部的攻击。针对这些场景,twitter研发了实...