聊聊分布式 SQL 数据库Doris(四) - ToB企服应用市场:ToB评测及商务社交产业平台

在Apache Doris中，BE节点间的数据一致性是通过副本同步和增量同步机制实现的。
首先，Apache Doris支持基于Paxos协议的分布式锁机制，确保在写入数据时，所有BE节点都能获得相同的锁信息。当一个BE节点获得写入权限并完成数据写入后，它会将修改操作记录到本地日志中，并利用Paxos协议将日志同步到其他BE节点。其他BE节点在接收到日志后，会根据日志内容对数据进行相应的修改，以保证所有节点数据的一致性。
其次，Apache Doris还支持基于时间戳的数据扫描机制，定期扫描不同节点上的数据，发现不一致的情况及时进行修复。当发现数据不一致时，BE节点会利用Paxos协议重新协商一致性，并根据协商结果进行数据修复。
此外，Apache Doris还提供了多种数据同步配置项，用户可以根据实际需求进行设置和调整，以满足不同的业务场景和性能需求。例如，用户可以设置同步的副本数、同步延迟时间等参数，以确保BE节点间的数据一致性。
总之，Apache Doris通过副本同步和增量同步机制以及多种数据同步配置项的结合使用，实现了BE节点间的数据一致性保证。这些机制的结合使用使得Apache Doris在分布式环境下能够提供可靠的数据一致性保证。

复制代码

在 Apache Doris 中，BE（Backend）节点间的数据一致性是通过 Raft 一致性协议来实现的。Raft 协议是一种分布式一致性算法，用于确保在集群中的多个节点之间维持数据的强一致性。
以下是 BE 节点间数据一致性的基本流程：
1. Raft 组（Replica Group）： Doris 中的每个表都会被分为多个 Raft 组，每个 Raft 组包含一个 Leader 节点和多个 Followers 节点。Leader 负责处理写入请求，而 Followers 节点负责复制 Leader 的数据。
2. Leader-Follower 模型：在每个 Raft 组中，有一个节点被选为 Leader，其他节点成为 Followers。Leader 节点接收客户端的写入请求，并负责将这些写入请求的变更复制到 Followers 节点。
3. 写入请求的处理：当 Leader 节点接收到写入请求时，它会将这个写入请求的变更记录到其本地日志，并通过 Raft 协议将这个变更通知给 Followers 节点。
4. Quorum Commit：在 Raft 协议中，写入操作需要在 Leader 和大多数 Followers 节点上完成才算成功。Leader 将等待大多数节点确认成功后，再向客户端返回写入成功的响应。
5. Followers 数据同步： Followers 节点接收到 Leader 的写入请求后，会将这些变更应用到本地的存储中，确保所有节点上的数据保持一致。
6. Leader 故障转移：如果 Leader 节点发生故障，Raft 协议会进行新一轮的选举，选择新的 Leader 节点。这确保了即使在节点故障的情况下，数据仍然能够得到一致性的维护。
通过 Raft 协议，Doris 确保了 BE 节点之间的数据一致性。这包括对写入操作的 Quorum Commit、Leader-Follower 模型以及节点故障时的 Leader 重新选举等机制。Raft 协议的设计目标是在分布式环境下提供强一致性，确保数据的可靠性和一致性。

复制代码