最新消息:深度思考

1.flume简介

flume liuxuecheng 2059浏览 0评论

版权申明:转载请注明出处。
文章来源:大数据随笔

1.简介

flume是一个分布式、高可用的系统,它用来收集,合并,移动不同来源的大量数据到一个指定的存储。它不仅限于处理文本类的日志数据,还能处理社交媒体数据,二进制数据以及邮件信息等几乎所有的数据格式。

2.架构

flume
(1)flume source消费来自于外部传递给它的event,外部的来源常见的有web server产生的log日志,或者avro,thrift等rpc系统产生的event。当source收到一个event的时候会存入一个或者多个channnel,channel被动的存储数据直到它被sink消耗。
(2)flume允许用户构建一个多节点的流,这样数据在到达最终目的地之前会经过多个agent处理,即sink产出的数据可以被另外一个agent的source接收,所以多个agent可以形成一个拓扑结构。
(3)同一个agent中source,channel,sink是异步执行的。

3.可靠性

在每个agent中,event阶段性的存储在channel中,当event成功的存入了下个agent的channel或者到达最终的存储channel中的event才会删除。
flume采用事务的方式可靠的传输event,source和sink分别封装了event的存储/还原到channel提供的事务中。这能确保一组event可靠的通过点对点传输。在多节点流中,前一个节点的sink和后一个节点的source之间通过事务保证数据的正常传输。
flume事务

4.可恢复性

channel在一定程度上支持故障恢复,当使用本地的file作为channel时,因为是持久化存储,它可以恢复。但是当使用memory作为channel时当agent的进程挂掉后存在于channel中的event就无法恢复。

转载请注明:大数据随笔 » 1.flume简介

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址