标签：kafka

liuxuecheng 3年前 (2017-11-06) 3417浏览 0评论

1.简介 kafka是由LinkedIn开源的一款分布式消息系统，使用scala语言开发，因其可扩展性和高吞吐率而被广泛使用。 开源到Apache以后已发展成一个分布式的实时处理平台，它具有以下特性： * 可以发布-订阅消息，作为ESB使用。 * 可...

liuxuecheng 3年前 (2017-10-27) 3513浏览 0评论

1.HDFS Sink hdfs sink支持将text类型或者sequenceFile类型的event写入hdfs，同时也支持在写入的时候进行压缩。 flume使用hadoop提供的FileSystem相关的操作工具，使用hsync或者hflush...

liuxuecheng 3年前 (2017-03-13) 3932浏览 2评论

版权申明：转载请注明出处。 文章来源：大数据随笔 1.什么是spark-streaming？ 实际生产中会有许多应用到实时处理的场景，比如：实时监测页面点击，实时监测系统异常，实时监测来自于外部的攻击。针对这些场景，twitter研发了实...