Flume事务工作机制
发布日期:2021-09-27 12:34:37 浏览次数:2 分类:技术文章

本文共 271 字,大约阅读时间需要 1 分钟。

在这里插入图片描述

  1. Flume中的事务有两处,分别是Source向Channel推送数据时和Sink在Channel中拉取数据时。
  2. 向Channel推送数据,通过doPut将Source中的数据放在临时缓冲区putList中。提交时,检查Channel内存队列中是否有空间能够写入数据。如果能就写入,如果不能就rollback,并且向Source返回此次event。
  3. 在Channel拉取数据时,doTake先将数据存入临时缓冲区takeList中,如果提交过程中发生了异常,将takeList缓冲区中的数据归还给Channel队列,清空takeList缓冲区。

转载地址:https://blog.csdn.net/FlatTiger/article/details/113997933 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:Flume使用之拦截器的使用
下一篇:Flume使用之Taildir Source监听多个追加文件

发表评论

最新留言

表示我来过!
[***.240.166.169]2024年04月11日 02时44分17秒