ToB企服应用市场:ToB评测及商务社交产业平台

标题: MySQL Online DDL原理解读 [打印本页]

---

作者: 南七星之家    时间: 2024-7-10 22:57
标题: MySQL Online DDL原理解读
码到三十五 ：   个人主页  

---

   MySQL原生Online DDL是MySQL数据库提供的一项功能，它允许在不中断数据库服务的情况下执行数据定义语言（DDL）操作。
  
  
一、背景与意义

在传统的数据库体系中，执行DDL操作时通常需要锁定表，以防止数据不一致。然而，这种锁定会导致表在DDL操作期间不可用，从而影响数据库的可用性。MySQL原生Online DDL办理了这个问题，它允许DDL操作在表仍然可用时执行，大大进步了数据库的可用性，特别是对于需要24/7高可用性的应用来说，这是一个告急的特性。
二、工作机制

MySQL原生Online DDL的工作机制涉及多个步骤和内部原理：
1. 预备阶段

• 查抄与评估：在执行DDL操作之前，MySQL会进行一系列的查抄和评估工作。这包罗验证DDL操作的语法正确性、查抄用户权限以及评估所需资源等。
  
• 选择执行策略：根据DDL操作的类型和表的结构，MySQL会选择一个合适的执行策略。这通常涉及决定是使用COPY算法、INPLACE算法还是INSTANT算法。
  

2. 执行DDL操作

• COPY算法：
  
  
  
  • 创建临时表：起首，MySQL会创建一个与原始表结构相似的新临时表。
    
  • 数据拷贝：接着，原始表中的数据会被逐行拷贝到新的临时表中。这个过程可能需要一些时间，具体取决于表的巨细和体系的性能。
    
  • 重命名与替换：数据拷贝完成后，临时表会被重命名为原始表的名字，从而替换掉原始表。在这个过程中，原始表会被加上写锁，以制止对数据进行修改，确保数据的一致性。
    
  
  
• INPLACE算法：
  
  
  
  • 直接修改：与COPY算法不同，INPLACE算法直接在原始表上进行修改，无需创建临时表和拷贝数据。
    
  • 记载DML操作：在DDL操作执行期间，如果有DML操作（如INSERT、UPDATE、DELETE）尝试修改表，这些操作会被记载下来。
    
  • 应用DML更改：DDL操作完成后，之前记载的DML更改会被应用到表上，确保数据的完整性和一致性。
    
  
  
• INSTANT算法：
  
  
  
  • 元数据修改：对于某些简单的DDL操作（如修改表的默认字符集），INSTANT算法可以直接修改数据字典中的元数据，而无需对表数据进行任何更改。
    
  • 无锁操作：由于只修改元数据，因此这种算法可以在不锁定表的情况下完成，实现了真正的“刹时”完成DDL操作。
    
  
  

3. 完成与清理

• 释放资源：DDL操作完成后，体系会释放全部在操作过程中分配的资源，如临时表、内存等。
  
• 更新统计信息：MySQL会更新与表相干的统计信息，以便优化器可以或许更好地制定查询计划。
  
• 通知与日志记载：操作完成后，体系会天生相应的日志记载，以便在须要时进行规复或审计。同时，也可能通过某种机制（如触发器）通知应用步伐DDL操作的完成。
  

MySQL原生Online DDL通过不同的算法和策略来实如今线修改数据库结构的目标，从而进步了数据库的可用性和灵活性。这些工作原理确保了即使在执行DDL操作时，数据库仍然可以或许处理正常的DML操作，减少了停机时间和维护本钱。

三、实现原理与优化

在线DDL的核心实现原理涉及几个关键环节，同时也有一些关键的优化策略：

• 构建临时表：为了不影响原表的正常读写，体系会创建一个具备新结构的临时表。这一步骤为后续的DDL操作提供了基础。
  
• 数据迁徙与及时同步：旧表中的数据会被高效地迁徙到临时表中，同时确保数据的及时同步。这种迁徙策略旨在保障DDL过程中数据的完整性和一致性，避免数据丢失或损坏。
  
• 变更追踪与重播：利用日志机制，体系会追踪DDL执行期间旧表上的数据变更，并将这些变更及时重播到临时表中。这一优化确保了数据在DDL操作完成后的正确性。
  
• 无缝切换：当DDL操作完成且数据完全同步后，数据库引擎会在合适的机会将临时表提拔为新表，从而实现无缝切换。此后，全部的读写操作都将基于新表进行。
  

四、使用场景与优势

MySQL原生Online DDL实用于多种场景，如添加或删除列、修改数据类型、添加或删除索引等。这些操作都可以在不中断服务的情况下完成，大大进步了数据库的灵活性和可用性。别的，由于Online DDL减少了停机时间，因此也降低了维护本钱和数据丢失的风险。
五、使用束缚与留意事项

尽管MySQL 5.7的在线DDL带来了诸多便利，但在现实使用中仍需留意以下几点：

• 操作支持范围：并非全部类型的DDL操作都支持在线执行。某些特定操作可能仍需要锁定整张表，因此在执行前需确认操作类型。
  
• 资源占用：DDL操作期间可能会明显增加体系资源的斲丧，特别是在数据迁徙和同步阶段。因此，在高负载情况下应审慎规划并执行此类操作。
  
• 测试与验证：为确保数据的完整性和业务的连续性，执行在线DDL之前应进行充分的测试和验证。这包罗但不限于数据的备份、规复以及一致性查抄等步骤。
  

六、锁在Online DDL中的作用

在Online DDL过程中，锁重要用于确保数据的一致性。不同类型的锁对表的可访问性有不同的影响：

• 共享锁（S锁）：允许多个事件读取同一资源，但不允许写入。在Online DDL中，这可能用于允许读取操作继续进行，同时制止写入操作。
  
• 排他锁（X锁）：制止其他事件读取或写入资源。在DDL操作中，如果需要修改表的结构或数据，则可能需要使用排他锁。
  

ALGORITHM和LOCK选项

在MySQL中，你可以通过ALGORITHM和LOCK关键字来控制DDL操作的行为。
ALGORITHM选项

• INPLACE：这个选项指示MySQL直接在原表上进行修改，而不是创建一个新表。这通常可以减少锁的使用和时间，从而进步并发性。但是，并非全部的DDL操作都支持INPLACE算法。
  
• COPY：这个选项告诉MySQL创建一个新表，将原表的数据复制到新表中，然后在新表上执行DDL操作。完成后，新表会替换原表。这个过程中，原表通常会被锁定，以防止数据不一致。COPY算法通常需要更多的时间和资源。
  
• DEFAULT：如果不指定ALGORITHM选项，MySQL将选择默认的行为。这通常是尝试使用INPLACE算法，如果不可能，则回退到COPY算法。
  

LOCK选项

• NONE：这个选项指示MySQL在执行DDL操作时不要对表加锁（如果可能的话）。但是，如果DDL操作需要保证数据的一致性，MySQL可能会忽略这个选项并加锁。
  
• SHARED：允许读取操作继续进行，但制止写入操作。
  
• EXCLUSIVE：制止读取和写入操作。这是最强的锁类型，用于确保DDL操作期间数据的一致性。
  

如何使用这些选项

当你想要执行一个DDL操作时，你可以通过添加ALGORITHM和LOCK选项来控制操作的行为。比方：

1. ALTER TABLE tbl_name ADD COLUMN col_name col_type, ALGORITHM=INPLACE, LOCK=NONE;

复制代码

这条命令尝试在原地（INPLACE）添加一个新列，而且只管不使用锁（LOCK=NONE）。但是，需要留意的是，如果MySQL判定无法保证数据的一致性而不使用锁，它可能会忽略这些选项。
可以通过如下的SQL语句检察是否有事件和锁等信息。

1. select * from information_schema.innodb_locks;

复制代码

1. select * from information_schema.innodb_trx;

复制代码

1. select * from information_schema.innodb_lock_waits;

复制代码

1. select * from information_schema.processlist;

复制代码

留意事项

• 不是全部的DDL操作都支持全部的ALGORITHM和LOCK组合。在执行DDL操作之前，最好查阅MySQL的官方文档以了解具体的支持情况。
  
  
  
  
• 即使指定了LOCK=NONE，MySQL也可能在须要时自动加锁以确保数据的一致性。因此，这些选项应被视为指导性的，而不是逼迫性的。
  

更多online DDL原理,请移步 : MySQL Online DDL详解:从历史演进到原理及使用

---

    关注以下公众号获取更多深度内容，纯干货 !   

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4