Kafka文件存储机制那些事13

Kafka是什么

   Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志体系(也可以当做MQ体系)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。
  一个商业化消息队列的性能好坏，其文件存储机制计划是权衡一个消息队列服务技术水平和最关键指标之一。 下面将从Kafka文件存储机制和物理结构角度，分析Kafka是怎样实现高效文件存储，及实际应用结果。
Kafka部门名词表明如下：

• Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群。
  
• Topic：一类消息，比方page view日志、click日志等都可以以topic的情势存在，Kafka集群能够同时负责多个topic的分发。
  
• Partition：topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。
  
• Segment：partition物理上由多个segment组成，下面2.2和2.3有详细说明。
  
• offset：每个partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序列号叫做offset,用于partition唯一标识一条消息.
  

分析过程分为以下4个步调：

• topic中partition存储分布
  
• partiton中文件存储方式
  
• partiton中segment文件存储结构
  
• 在partition中怎样通过offset查找message
  

通过上述4过程详细分析，我们就可以清晰认识到kafka文件存储机制的奥秘。
2.1 topic中partition存储分布

假设实验环境中Kafka集群只有一个broker，xxx/message-folder为数据文件存储根目录，在Kafka broker中server.properties文件配置(参数log.dirs=xxx/message-folder)，比方创建2个topic名称分别为report_push、launch_info, partitions数量都为partitions=4 存储路径和目录规则为： xxx/message-folder

1.               |--report_push-0
2.               |--report_push-1
3.               |--report_push-2
4.               |--report_push-3
5.               |--launch_info-0
6.               |--launch_info-1
7.               |--launch_info-2
8.               |--launch_info-3

复制代码

在Kafka文件存储中，同一个topic下有多个差别partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1。 假如是多broker分布情况，请参考kafka集群partition分布原理分析
2.2 partiton中文件存储方式

下面表示图形象说明白partition中文件存储方式:

image

1.                               图1

复制代码

• 每个partion(目录)相当于一个巨型文件被平均分配到多个巨细相称segment(段)数据文件中。但每个段segment file消息数量不一定相称，这种特性方便old segment file快速被删除。
  
• 每个partiton只必要支持顺序读写就行了，segment文件生命周期由服务端配置参数决定。
  

如许做的利益就是能快速删除无用文件，有效提高磁盘利用率。
2.3 partiton中segment文件存储结构

读者从2.2节了解到Kafka文件体系partition存储方式，本节深入分析partion中segment file组成和物理结构。

• segment file组成：由2大部门组成，分别为index file和data file，此2个文件逐一对应，成对出现，后缀”.index”和“.log”分别表示为segment索引文件、数据文件.
  
• segment文件命名规则：partion全局的第一个segment从0开始，后续每个segment文件名为上一个segment文件最后一条消息的offset值。数值最大为64位long巨细，19位数字字符长度，没有数字用0填充。
  

下面文件列表是笔者在Kafka broker上做的一个实验，创建一个topicXXX包含1 partition，设置每个segment巨细为500MB,并启动producer向Kafka broker写入大量数据,如下图2所示segment文件列表形象说明白上述2个规则：

image

1.             图2

复制代码

以上述图2中一对segment file文件为例，说明segment中index<—->data file对应关系物理结构如下：

image

1.             图3

复制代码

上述图3中索引文件存储大量元数据，数据文件存储大量消息，索引文件中元数据指向对应数据文件中message的物理偏移地址。 其中以索引文件中元数据3,497为例，依次在数据文件中表示第3个message(在全局partiton表示第368772个message)、以及该消息的物理偏移地址为497。
从上述图3了解到segment data file由许多message组成，下面详细说明message物理结构如下：

image

1.            图4

复制代码

参数说明：

关键字表明说明8 byte offset在parition(分区)内的每条消息都有一个有序的id号，这个id号被称为偏移(offset),它可以唯一确定每条消息在parition(分区)内的位置。即offset表示partiion的第多少message4 byte message sizemessage巨细4 byte CRC32用crc32校验message1 byte “magic”表示本次发布Kafka服务程序协议版本号1 byte “attributes”表示为独立版本、或标识压缩类型、或编码类型。4 byte key length表示key的长度,当key为-1时，K byte key字段不填K byte key可选value bytes payload表示实际消息数据。 2.4 在partition中怎样通过offset查找message

比方读取offset=368776的message，必要通过下面2个步观察找。

• 第一步查找segment file 上述图2为例，其中00000000000000000000.index表示最开始的文件，起始偏移量(offset)为0.第二个文件00000000000000368769.index的消息量起始偏移量为368770 = 368769 + 1.同样，第三个文件00000000000000737337.index的起始偏移量为737338=737337 + 1，其他后续文件依次类推，以起始偏移量命名并排序这些文件，只要根据offset **二分查找**文件列表，就可以快速定位到具体文件。 当offset=368776时定位到00000000000000368769.index|log
  
• 第二步通过segment file查找message 通过第一步定位到segment file，当offset=368776时，依次定位到00000000000000368769.index的元数据物理位置和00000000000000368769.log的物理偏移地址，然后再通过00000000000000368769.log顺序查找直到offset=368776为止。
  

从上述图3可知如许做的优点，segment index file采取希奇索引存储方式，它淘汰索引文件巨细，通过mmap可以直接内存操纵，希奇索引为数据文件的每个对应message设置一个元数据指针,它比稠密索引节流了更多的存储空间，但查找起来必要斲丧更多的时间。
3 Kafka文件存储机制–实际运行结果

实验环境：

• Kafka集群：由2台虚拟机组成
  
• cpu：4核
  
• 物理内存：8GB
  
• 网卡：千兆网卡
  
• jvm heap: 4GB
  
• 详细Kafka服务端配置及其优化请参考：kafka server.properties配置详解
  

image

1.                               图5                                 

复制代码

从上述图5可以看出，Kafka运行时很少有大量读磁盘的操纵，主要是定期批量写磁盘操纵，因此操纵磁盘很高效。这跟Kafka文件存储中读写message的计划是息息相关的。Kafka中读写message有如下特点:
写message

• 消息从java堆转入page cache(即物理内存)。
  
• 由异步线程刷盘,消息从page cache刷入磁盘。
  

读message

• 消息直接从page cache转入socket发送出去。
  
• 当从page cache没有找到相应数据时，此时会产生磁盘IO,从磁 盘Load消息到page cache,然后直接从socket发出去
  

Kafka高效文件存储计划特点

• Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就轻易定期扫除或删除已经消费完文件，淘汰磁盘占用。
  
• 通过索引信息可以快速定位message和确定response的最大巨细。
  
• 通过index元数据全部映射到memory，可以避免segment file的IO磁盘操纵。
  
• 通过索引文件希奇存储，可以大幅低落index文件元数据占用空间巨细。
  

from :
Kafka文件存储机制那些事 - 美团技术团队
Java内存访问重排序的研究 - 美团技术团队
Innodb中的事件隔离级别和锁的关系 - 美团技术团队
怎样把Android手机变成一个WIFI下载热点? — 报文转发及DNS报文拦截 - 美团技术团队
MySQL索引原理及慢查询优化 - 美团技术团队
Java 8系列之重新认识HashMap - 美团技术团队
Spring MVC注解故障追踪记 - 美团技术团队
Spark Streaming + Elasticsearch构建App异常监控平台 - 美团技术团队
Spring Data REST 远程代码执行漏洞（CVE-2017-8046）分析与复现 - 美团技术团队
LruCache在美团DSP体系中的应用演进 - 美团技术团队
iOS 覆盖率检测原理与增量代码测试覆盖率工具实现 - 美团技术团队
日常开发Guava提效工具库核心实用指南梳理_guava string转list-CSDN博客
从ES的JVM配置起步思索JVM常见参数优化_es jvm配置-CSDN博客
异步处理优化：多线程线程池与消息队列的选择与应用_模版模式使用-CSDN博客


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。