瑞星 发表于 2024-8-26 13:48:25

数据库不停机迁移方案

在业务发展过程中,可能会有需要进行数据迁移的场景。
一般来说可以分为两种
(1)停机迁移
(2)不停机迁移

停机迁移比较简朴,步骤如下
(1)根据业务流量数据低峰时间,制定迁移计划。
(2)发布停业公告
(3)届时先停机,保证老库数据不会再变动,然后利用迁移工具进行数据的全量迁移
(4)迁移完成后进行新老数据库数据的对比校验
(5)数据校验没题目,流程切换到新库,完成
停机迁移的题目在于
(1)有的业务压根就不能容忍停机。还有就是数据全量迁移的耗时可能也比较久,长时间停机更是不可能继承。
(2)一把切,万一新库、新应用有什么题目,由于新库中新增的数据在老库中并没有,全部也没法切回老库,有题目也不能回滚。
但是停机迁移最大的长处是:简朴!
以是现实业务中一些数据量没那么大,大概一些内部体系,非关键体系,接纳这种方式其实是主流。再重复一遍,没有最好的方案,只有最得当的方案,有利就有弊,都是权衡取舍罢了。

不停机迁移步骤
(1)对业务代码进行改造,数据库修改操纵改为双写,即同时写入新库和老库
insert:两边同时成功
delete:有的数据新库中没有,也没关系
update:有的数据新库中没有,也没关系
老库的写入不受影响,必须成功。新库的假如不成功也没关系,记录一下日记进行排查即可。
为了不影响体系的响应时间等,写入新库可以弄成异步操纵
(2)将旧库全部数据迁移到新表
从老库中查询数据,更新到新库,伪代码
select 全部字段 from 旧表 where id in (select id from 旧表 order by id asc limit #{start},#{batchSize})
假如数据为空就结束
 否则对于里面的每条数据
开启事件
select 全部字段 from 旧表 where id = xxx for update;
插入新库(注意需要先delete再insert)
提交事件
这里要注意,一定要加for update锁定数据。
为什么?因为业务代码里面双写还在继续,好比业务代码中更新
update 表xx set monney = 100,然后旧表写入了,但迁移数据数据的读代替码在这之前执行的,以是读到的事旧数据。迁移代码正要把数据写入新库,双写代码已经把新库更新为最新数据,然后迁移代码又把旧数据覆盖上去了。如许就出现了丢失更新的题目。
假如加上for update,则能保证这一条数据在迁移过程中不发生改变,保证新老数据的一致性。
(3)校验两边数据的一致性。数据量太大的时间可以接纳一般数据抽查、关键数据全量检查联合的方式
(4)将流量逐步切换到新表。灰度切换。
切换到新表,也就是重要写新的表,旧表也要写,如许假如新库有啥题目可以随时切换回旧库。
(5)平稳运行一段时间后,确保都没题目了,再全部转到新库上。







免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: 数据库不停机迁移方案