最新消息:深度思考

1.kafka简介

kafka liuxuecheng 3539浏览 0评论

1.简介

kafka是由LinkedIn开源的一款分布式消息系统,使用scala语言开发,因其可扩展性和高吞吐率而被广泛使用。
开源到Apache以后已发展成一个分布式的实时处理平台,它具有以下特性:
* 可以发布-订阅消息,作为ESB使用。
* 可以以容错的方式存储流式记录。
* 可以实时的处理流式数据。
* 可以在系统或者应用之间创建可靠的实时流式数据通道。
* 可以构建实时的应用用来处理流式数据。
* 可以运行在一个或者多个机器的集群上,并且很容易扩展。
* 支持多个消费者。
* 自动负载均衡以及自动故障转移。
* 消息可以持久化到磁盘,支持批量消费。
* 顺序读写磁盘。
* 基于tcp协议。

2.架构

一个典型的kafka体系包含若干producer,用来将数据发送到kafka;多个broker;多个consumer group,每个
group又有多个consumer;以及一个zookeeper集群用来管理kafka集群的配置、leader选举等。架构图如下:
kafka架构图

3.kafka组件

各组件简述如下:

name scribe
broker 一个kafka节点就是一个broker,一个或者多个broker组成一个集群,broker越多集群性能越好。
topic \<k,v>结构消息的key,用来对不同的消息归类。
producer 消息生产者,用来向broker发送消息。
consumer 消息消费者,用来接收来自broker的消息或者从broker拉取消息。
consumerGroup 消费组,一个消费组里有一个或者多个消费者。同一个消费组所有的消费者接收到的消息
是一个整体,不同消费组各自收到的消息是一个整体。
partition 一个topic可以有多个partition,每个partition的内部是有序的。

下面对其中的两个组件做进一步说明。

3.1 topic

topic是用来对消息归类的,每个topic可以认为包含一类消息。topic可以有一个或多个partition,topic是逻辑上的存储
结构,partition是物理上的存储结构。如图:
kafka topic
每个partition是有序的、不可变的并且可以追加写入的(采用顺序写入磁盘的方式,速度快于随机写内存)
消息在partition里面有一个唯一的标识id叫offset。当发送消息时可以指定消息的key,producer可以根据key来判断将
消息发送到哪个partition,partition机制可以通过指定producer的partition.class这一参数来指定,该class必须实现kafka.producer.Partitioner接口。
好的分区策略可以让消息均匀的分布到不同的partition,以此达到水平扩展的目的。
partition的数量可以通过$KAFKA_HOME/config/server.properties来指定。如下:

# The default number of log partitions per topic. More partitions allow greater
# parallelism for consumption, but this will also result in more files across
# the brokers.
num.partitions=3

3.2 consumer

consumer通过consumer groupname来标识,消息会被发送到consumer group的其中一个,consumer实例可以在不同
的进程或者不同的机器上。不同consumer group消费同一个topic消息示例如下:
kafka consumer
如上:一个topic有四个partition,分别为P0-P3,分布在两个broker上。同时,有两个consumer group,A有两个
consumer实例,B有四个consumer实例。A组和B组属于不同的consumer group,所以他们都会topic所有的消息数据。
在A和B内部每个consumer会均衡的收到这个topic的消息。

转载请注明:大数据随笔 » 1.kafka简介

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址