Kafka数据存储机制
发布日期:2021-09-27 12:34:40
浏览次数:1
分类:技术文章
本文共 349 字,大约阅读时间需要 1 分钟。
- Kafka中的消息是根据Topic进行分类的。生产者生产数据,消费者消费数据,都是面向topic。
- Topic是逻辑上的概念,分区是物理上的概念,分区规则为“topic名称+分区名”。每个分区中都对应一个log文件,该文件就是生产者生产的数据。生产者生产的数据会不断的追加到log文件末尾。此外每个分区都有其副本,不同副本存储在不同的broker节点。
- 为了防止log文件过大,导致数据定位效率过低,Kafka采用了分片和索引机制。
- 每个log文件在达到一定的大小后(默认1G),都被物理上切分为多个Segment,每个Segment都有其对应的log文件、index索引文件、timeindex时间索引文件。
- log文件和index文件的命名规则为,当前Segment的第一条消息的offset。
转载地址:https://blog.csdn.net/FlatTiger/article/details/114084071 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
第一次来,支持一个
[***.219.124.196]2024年03月26日 10时16分52秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
php中带?错误,参考-此错误在PHP中意味着什么?
2019-04-21
php生成链接列表,根据URL链接和抛文本生成链接<a>标签的PHP函数
2019-04-21
php html标签自定义属性,浅谈JS读取DOM对象(标签)的自定义属性
2021-06-24
php 实现 model层,Thinkhphp5控制器调用的Model层的方法总结
2021-06-24
matlab6.0序列号,MFC软件获取USB设备的制造商、产品、序列号
2021-06-24
matlab中多边形滤波器,几种常见空间滤波器MATLAB实现
2021-06-24
matlab fminimax 例子,Matlab应用实例(8)—fminimax
2019-04-21
php://filter利用条件,浅谈php://filter技巧
2019-04-21
mplayer-php,mplayer+smplayer 前后端播放器安装
2019-04-21
oracle昨日时间,。。今日,昨日,上周,本月,本年,按时间统计总金额
2019-04-21
php验证卡号,PHP验证信用卡卡号是否正确函数
2019-04-21
mpvue微信小程序动画_推荐两个微信小程序开发框架
2019-04-21
固态硬盘分为哪几种_零基础玩转固态硬盘 深度排雷 买SSD掌握这些就够了
2019-04-21
调python返回图片_Python异常处理,3个好习惯分享给你
2019-04-21
15拆解_收藏:15款劲芯微芯片无线充产品拆解
2019-04-21
弹出u盘_都说:U盘直接拔出不会丢失文件,“安全弹出”形同虚设,对吗?
2019-04-21