7.kafka中的斲丧语义、幂等性
概述kafka中的斲丧语义
[*]at most once ：大概会丢数据
[*]at least once ：all +分区副本>=2 +min >=2 不丢失数据，但是数据大概重复
[*]exactly once ：精准一次， 不丢不重
kafka的事务与幂等性官方速递
Apache Kafka Idempotent Producer - Avoiding message duplication
kafka中幂等性
当生产者向 topic 发送消息时，大概会出现问题，如短连接失败，当这种环境发生时，任多么待确认的消息都可以重新发或抛弃，但消息大概已经乐成写入 topic ，也大概没有，这是没法知道的，如果是重新发送，可以会导致消息重复。不重新发送，消息基本上会丢失。
https://i-blog.csdnimg.cn/direct/4434ec298ff647da9b23f9e3bd7b5a96.png
支持
java 是从 0.11 版本正式支持的。
设置
# 代码中配置
enable.idempotence:true
原理
每个生产者都会被分配一个生产者Id(PID)，每次向 topic 发送消息时，都会包含自己的 PID ，别的，每条消息都会得到一个单调递增的序列号。生产者向 topic 发送消息时，都会为其维护一个单独的序例，在 broker 上，会在每个分区的底子上跟踪已乐成写入的最大 PID 序列化号组合，当吸收到较低的序列号时，它会被抛弃。
禁用幂等性后，大概会出现生产者异步向 topic 分区发送消息的环境，比如消息M1 到 M10。发送消息 7 后，连接失败。它已收到消息1至3的确认。因此，消息4、5、6和7被重新发送，然后是消息8到10。但代理实际上能够将除消息7之外的全部消息写入分区，因此现在存储在分区中的消息是：M1, M2, M3, M4, M5, M6, M4, M5, M6, M7, M8, M9, M10
但启用幂等性后，每条消息都有一个PID和序列号：
[*]M1 (PID: 1, SN: 1) - written to partition. For PID 1, Max SN=1
[*]M2 (PID: 1, SN: 2) - written to partition. For PID 1, Max SN=2
[*]M3 (PID: 1, SN: 3) - written to partition. For PID 1, Max SN=3
[*]M4 (PID: 1, SN: 4) - written to partition. For PID 1, Max SN=4
[*]M5 (PID: 1, SN: 5) - written to partition. For PID 1, Max SN=5
[*]M6 (PID: 1, SN: 6) - written to partition. For PID 1, Max SN=6
[*]M4 (PID: 1, SN: 4) - rejected, SN <= Max SN
[*]M5 (PID: 1, SN: 5) - rejected, SN <= Max SN
[*]M6 (PID: 1, SN: 6) - rejected, SN <= Max SN
[*]M7 (PID: 1, SN: 7) - written to partition. For PID 1, Max SN=7
[*]M8 (PID: 1, SN: 8) - written to partition. For PID 1, Max SN=8
[*]M9 (PID: 1, SN: 9) - written to partition. For PID 1, Max SN=9
[*]M10 (PID: 1, SN: 10) - written to partition. For PID 1, Max SN=10
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]