数据库镜像
数据库实时备份
索引构建和实时维护(拆分异构索引、倒排索引等)
业务 cache 刷新
带业务逻辑的增量数据处理
Debezium是一个捕获数据更改(CDC)平台,并且利用Kafka和Kafka Connect实现了本身的持久性、可靠性和容错性。
每一个部署在Kafka Connect分布式的、可扩展的、容错性的服务中的connector监控一个上游数据库服务器,捕获所有的数据库更改,然后记录到一个或者多个Kafka topic(通常一个数据库表对应一个kafka topic)。
Kafka确保所有这些数据更改变乱都能够多副本并且总体上有序(Kafka只能保证一个topic的单个分区内有序),这样,更多的客户端可以独立消耗同样的数据更改变乱而对上游数据库体系造成的影响降到很小(如果N个应用都直接去监控数据库更改,对数据库的压力为N,而用debezium报告数据库更改变乱到kafka,所有的应用都去消耗kafka中的消息,可以把对数据库的压力降到1)。
另外,客户端可以随时停止消耗,然后重启,从前次停止消耗的地方接着消耗。每个客户端可以自行决定他们是否必要exactly-once或者at-least-once消息交付语义保证,并且所有的数据库或者表的更改变乱是按照上游数据库发生的顺序被交付的。
对于不必要或者不想要这种容错级别、性能、可扩展性、可靠性的应用,他们可以利用内嵌的Debezium connector引擎来直接在应用内部运行connector。简介
这种应用仍必要消耗数据库更改变乱,但更盼望connector直接传递给它,而不是持久化到Kafka里。
https://github.com/javastacks/spring-boot-best-practice依靠
欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) | Powered by Discuz! X3.4 |