Kafka数据存储机制
发布日期:2021-09-27 12:34:40 浏览次数:1 分类:技术文章

本文共 349 字,大约阅读时间需要 1 分钟。

在这里插入图片描述

  • Kafka中的消息是根据Topic进行分类的。生产者生产数据,消费者消费数据,都是面向topic。
  • Topic是逻辑上的概念,分区是物理上的概念,分区规则为“topic名称+分区名”。每个分区中都对应一个log文件,该文件就是生产者生产的数据。生产者生产的数据会不断的追加到log文件末尾。此外每个分区都有其副本,不同副本存储在不同的broker节点。
  • 为了防止log文件过大,导致数据定位效率过低,Kafka采用了分片和索引机制。
  • 每个log文件在达到一定的大小后(默认1G),都被物理上切分为多个Segment,每个Segment都有其对应的log文件、index索引文件、timeindex时间索引文件。
  • log文件和index文件的命名规则为,当前Segment的第一条消息的offset。

转载地址:https://blog.csdn.net/FlatTiger/article/details/114084071 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:Flume面试题
下一篇:使用NetCat0.7.1进行消息传递

发表评论

最新留言

第一次来,支持一个
[***.219.124.196]2024年03月26日 10时16分52秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

php中带?错误,参考-此错误在PHP中意味着什么? 2019-04-21
php生成链接列表,根据URL链接和抛文本生成链接<a>标签的PHP函数 2019-04-21
matlab里inline定义矩阵,Matlab中的inline函数_matlab中inline函数 2021-06-24
php html标签自定义属性,浅谈JS读取DOM对象(标签)的自定义属性 2021-06-24
如何使用matlab的siso,利用Matlab内建程式SISODesignTool完成系统分析(Matlab61)开启.PDF... 2021-06-24
php 实现 model层,Thinkhphp5控制器调用的Model层的方法总结 2021-06-24
matlab6.0序列号,MFC软件获取USB设备的制造商、产品、序列号 2021-06-24
matlab中多边形滤波器,几种常见空间滤波器MATLAB实现 2021-06-24
matlab fminimax 例子,Matlab应用实例(8)—fminimax 2019-04-21
php://filter利用条件,浅谈php://filter技巧 2019-04-21
mplayer-php,mplayer+smplayer 前后端播放器安装 2019-04-21
oracle昨日时间,。。今日,昨日,上周,本月,本年,按时间统计总金额 2019-04-21
php验证卡号,PHP验证信用卡卡号是否正确函数 2019-04-21
mpvue微信小程序动画_推荐两个微信小程序开发框架 2019-04-21
固态硬盘分为哪几种_零基础玩转固态硬盘 深度排雷 买SSD掌握这些就够了 2019-04-21
调python返回图片_Python异常处理,3个好习惯分享给你 2019-04-21
15拆解_收藏:15款劲芯微芯片无线充产品拆解 2019-04-21
弹出u盘_都说:U盘直接拔出不会丢失文件,“安全弹出”形同虚设,对吗? 2019-04-21
怎么查看elementui版本_2021新年 Vue3.0 + Element UI 尝鲜小记 2019-04-21
adreno630gpu参数_小米8搭载Adreno 630图形处理器 比荣耀play上的GPU Turbo更成熟 2019-04-21