ToB企服应用市场:ToB评测及商务社交产业平台

标题: MySQL实战45讲 6,7,8 [打印本页]

作者: 罪恶克星    时间: 2022-8-31 16:44
标题: MySQL实战45讲 6,7,8
06 | 全局锁和表锁 :给表加个字段怎么有这么多阻碍?

Connection连接与Session会话
通俗来讲,会话(Session)是通信双⽅从开始通信到通信结束期间的⼀个上下文(Context)。这个上下文是⼀段位于服务器端的内存:记录了本次连接的客户端机器、通过哪个应用程序、哪个用户登录等信息。
连接是物理上的客户端同服务器的通信链路

根据加锁的范围,MySQL 里面的锁大致可以分成全局锁、表级锁和行锁三类。
全局锁

全局锁就是对整个数据库实例加锁
Flush tables with read lock (FTWRL)
当你需要让整个库处于只读状态的时候,可以使用这个命令,之后其他线程的以下语句会被阻塞:数据更新语句(数据的增删改)(DML) 、数据定义语句(包括建表、修改表结构等)(DDL)和更新类事务的提交语句。
全局锁的典型使用场景是,做全库逻辑备份。也就是把整库每个表都 select 出来存成文本。
Q:在可重复读隔离级别下开启一个事务是一致性视图,这时由于MVCC数据是可以正常更新的,所以为什么不用这种方式?
A:官方自带的逻辑备份工具是 mysqldump。当 mysqldump 使用参数–single-transaction 的时候,导数据之前就会启动一个事务,来确保拿到一致性视图。但存在一个问题:single-transaction 方法只适用于所有的表使用事务引擎的库。而MyISAM不支持事务
Q:既然要全库只读,为什么不使用 set global readonly=true 的方式呢?
A:
表级锁

表级别的锁有两种:一种是表锁,一种是元数据锁(meta data lock,MDL)
lock tables … read/write。与 FTWRL 类似,可以用 unlock tables 主动释放锁,也可以在客户端断开的时候自动释放。需要注意,lock tables 语法除了会限制别的线程的读写外,也限定了本线程接下来的操作对象。
另一类表级的锁是 MDL(metadata lock)。
MDL作用是防止DDLDML并发的冲突,
MDL 不需要显式使用,在访问一个表的时候会被自动加上。事务中的 MDL 锁,在语句执行开始时申请,但是语句结束后并不会马上释放,而会等到整个事务提交后再释放。

我们可以看到 session A 先启动,这时候会对表 t 加一个 MDL 读锁。由于 session B 需要的也是 MDL 读锁,因此可以正常执行。之后 session C 会被 blocked,是因为 session A 的 MDL 读锁还没有释放,而 session C 需要 MDL 写锁,因此只能被阻塞。并且之后所有要在表 t 上新申请 MDL 读锁的请求也会被 session C 阻塞
MDL 会直到事务提交才释放,在做表结构变更的时候,一定要小心不要导致锁住线上查询和更新
Q:如何安全地给小表加字段?
A:首先我们要解决长事务,事务不提交,就会一直占着 MDL 锁。如果你要做 DDL 变更的表刚好有长事务在执行,要考虑先暂停 DDL,或者 kill 掉这个长事务
Q:如果你要变更的表是一个热点表,虽然数据量不大,但是上面的请求很频繁,而你不得不加个字段,你该怎么做呢?
A:这时候 kill 可能未必管用,因为新的请求马上就来了。比较理想的机制是,在 alter table 语句里面设定等待时间如果在这个指定的等待时间里面能够拿到 MDL 写锁最好,拿不到也不要阻塞后面的业务语句,先放弃。之后开发人员或者 DBA 再通过重试命令重复这个过程
Q:备份一般都会在备库上执行,你在用–single-transaction 方法做逻辑备份的过程中,如果主库上的一个小表做了一个 DDL,比如给一个表上加了一列。这时候,从备库上会看到什么现象呢?
A:假设这个 DDL 是针对表 t1 的, 备份过程中几个关键的语句:
  1. /* 在备份开始的时候,为了确保 RR(可重复读)隔离级别,再设置一次 RR 隔离级别 (Q1)*/
  2. Q1:SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ;
  3. /* 启动事务,这里用 WITH CONSISTENT SNAPSHOT 确保这个语句执行完就可以得到一个一致性视图(Q2) */
  4. Q2:START TRANSACTION  WITH CONSISTENT SNAPSHOT;
  5. /* 设置一个保存点,这个很重要(Q3); */
  6. Q3:SAVEPOINT sp;
  7. /* show create 是为了拿到表结构 (Q4)    时刻 1 */
  8. Q4:show create table `t1`;
  9. /* 正式导数据 (Q5)   时刻 2 */
  10. Q5:SELECT * FROM `t1`;
  11. /* 回滚到 SAVEPOINT sp,在这里的作用是释放 t1 的 MDL 锁  时刻 3 */
  12. Q6:ROLLBACK TO SAVEPOINT sp;
  13. /* 时刻 4 */
  14. /* other tables */
复制代码
DDL 从主库传过来的时间按照效果不同,分为四个时刻。
题目设定为小表,我们假定到达后,如果开始执行,则很快能够执行完成。
07 | 行锁功过:怎么减少行锁对性能的影响?

MySQL 的行锁

MySQL 的行锁是在引擎层由各个引擎自己实现的。但并不是所有的引擎都支持行锁,比如 MyISAM 引擎就不支持行锁。
行锁就是针对数据表中行记录的锁。这很好理解,比如事务 A 更新了一行,而这时候事务 B 也要更新同一行,则必须等事务 A 的操作完成后才能进行更新。
两阶段锁


事务 A 持有的两个记录的行锁,都是在 commit 的时候才释放的。事务 B 的 update 语句会被阻塞,直到事务 A 执行 commit 之后,事务 B 才能继续执行。
在 InnoDB 事务中,行锁是在需要的时候才加上的,但并不是不需要了就立刻释放,而是要等到事务结束时才释放。这个就是两阶段锁协议。
如果你的事务中需要锁多个行,要把最可能造成锁冲突、最可能影响并发度的锁尽量往后放
死锁和死锁检测

当并发系统中不同线程出现循环资源依赖,涉及的线程都在等待别的线程释放资源时,就会导致这几个线程都进入无限等待的状态,称为死锁。

这时候,事务 A 在等待事务 B 释放 id=2 的行锁,而事务 B 在等待事务 A 释放 id=1 的行锁。 事务 A 和事务 B 在互相等待对方的资源释放,就是进入了死锁状态。
当出现死锁以后,有两种策略
死锁检测要耗费大量的 CPU 资源
Q:怎么解决由这种热点行更新导致的性能问题呢?
A:
Q:如果你要删除一个表里面的前 10000 行数据,有以下三种方法可以做到:
选择哪一种方法呢?为什么呢?
A:
第二种方式是相对较好的。
第一种方式(即:直接执行 delete from T limit 10000)里面,单个语句占用时间长,锁的时间也比较长;而且大事务还会导致主从延迟。
第三种方式(即:在 20 个连接中同时执行 delete from T limit 500),会人为造成锁冲突。
08 | 事务到底是隔离的还是不隔离的?

如果是可重复读隔离级别,事务 T 启动的时候会创建一个视图 read-view,之后事务 T 执行期间,即使有其他事务修改了数据,事务 T 看到的仍然跟在启动时看到的一样。也就是说,一个在可重复读隔离级别下执行的事务,好像与世无争,不受外界影响。
一个事务要更新一行,如果刚好有另外一个事务拥有这一行的行锁,它又不能这么超然了,会被锁住,进入等待状态
Q:既然进入了等待状态,那么等到这个事务自己获取到行锁要更新数据的时候,它读到的值是什么呢
举一个例子,下面是一个只有两行的表的初始化语句。
  1. mysql> CREATE TABLE `t` (
  2.   `id` int(11) NOT NULL,
  3.   `k` int(11) DEFAULT NULL,
  4.   PRIMARY KEY (`id`)
  5. ) ENGINE=InnoDB;
  6. insert into t(id, k) values(1,1),(2,2);
复制代码
事务开始时间点,分为两种情况:
1)start transaction 时,是第一条语句的执行时间点,就是事务开始的时间点,第一条select语句建立一致性读的snapshot;
2)start transaction with consistent snapshot 时,则是立即建立本事务的一致性读snapshot,当然也开始事务了;

在这个例子中,事务 C 没有显式地使用 begin/commit,表示这个 update 语句本身就是一个事务,语句完成的时候会自动提交。
事务 B 在更新了行之后查询 ;
事务 A 在一个只读事务中查询,并且时间顺序上是在事务 B 的查询之后。
结果:事务 B 查到的 k 的值是 3,而事务 A 查到的 k 的值是 1
A:
不妨做如下假设:

从图中可以看到,第一个有效更新是事务 C,把数据从 (1,1) 改成了 (1,2)。这时候,这个数据的最新版本的 row trx_id 是 102,而 90 这个版本已经成为了历史版本。
第二个有效更新是事务 B,把数据从 (1,2) 改成了 (1,3)。这时候,这个数据的最新版本(即 row trx_id)是 101,而 102 又成为了历史版本。
在事务 A 查询的时候,其实事务 B 还没有提交,但是它生成的 (1,3) 这个版本已经变成当前版本了。但这个版本对事务 A 必须是不可见的,否则就变成脏读了。
事务 A 要来读数据了,它的视图数组是 [99,100]。当然了,读数据都是从当前版本读起的。所以,事务 A 查询语句的读数据流程是这样的:
总结:

一个数据版本,对于一个事务视图来说,除了自己的更新总是可见以外,有三种情况:
两个“视图”的概念

在 MySQL 里,有两个“视图”的概念:
它没有物理结构,作用是事务执行期间用来定义“我能看到什么数据”。
“快照”在 MVCC 里是怎么工作的?

在可重复读隔离级别下,事务在启动的时候就“拍了个快照”。注意,这个快照是基于整库的
InnoDB 里面每个事务有一个唯一的事务 ID,叫作 transaction id。它是在事务开始的时候向 InnoDB 的事务系统申请的,是按申请顺序严格递增的
每行数据也都是有多个版本的。每次事务更新数据的时候,都会生成一个新的数据版本,并且把 transaction id 赋值给这个数据版本的事务 ID,记为 row trx_id。同时,旧的数据版本要保留,并且在新的数据版本中,能够有信息可以直接拿到它
也就是说,数据表中的一行记录,其实可能有多个版本 (row),每个版本有自己的 row trx_id。

图中虚线框里是同一行数据的 4 个版本,当前最新版本是 V4,k 的值是 22,它是被 transaction id 为 25 的事务更新的,因此它的 row trx_id 也是 25。
实际上,图 2 中的三个虚线箭头,就是 undo log;而 V1、V2、V3 并不是物理上真实存在的而是每次需要的时候根据当前版本和 undo log 计算出来的。比如,需要 V2 的时候,就是通过 V4 依次执行 U3、U2 算出来
按照可重复读的定义,一个事务启动的时候,能够看到所有已经提交的事务结果。但是之后,这个事务执行期间,其他事务的更新对它不可见。因此,一个事务只需要在启动的时候声明说,“以我启动的时刻为准,如果一个数据版本是在我启动之前生成的,就认;如果是我启动以后才生成的,我就不认,我必须要找到它的上一个版本”。当然,如果“上一个版本”也不可见,那就得继续往前找。还有,如果是这个事务自己更新的数据,它自己还是要认的
在实现上, InnoDB 为每个事务构造了一个数组,用来保存这个事务启动瞬间当前正在“活跃”的所有事务 ID。“活跃”指的就是,启动了但还没提交
数组里面事务 ID 的最小值记为低水位,当前系统里面已经创建过的事务 ID 的最大值加 1 记为高水位。
这个视图数组和高水位,就组成了当前事务的一致性视图(read-view)
数据版本的可见性规则,就是基于数据的 row trx_id 和这个一致性视图的对比结果得到的。
这个视图数组把所有的 row trx_id 分成了几种不同的情况。

有了这个声明后,系统里面随后发生的更新,就跟这个事务看到的内容无关了。因为之后的更新,生成的版本一定属于上面的 2 或者 3(a) 的情况,而对它来说,这些新的数据版本是不存在的,所以这个事务的快照,就是“静态”的了。
如果有一个事务,它的低水位是 18,那么当它访问这一行数据时,就会从 V4 通过 U3 计算出 V3,所以在它看来,这一行的值是 11。
InnoDB 利用了“所有数据都有多个版本”的这个特性,实现了“秒级创建快照”的能力。
更新逻辑

Q:事务 B 的 update 语句,如果按照一致性读,好像结果不对哦?
事务 B 的视图数组是先生成的,之后事务 C 才提交,不是应该看不见 (1,2) 吗,怎么能算出 (1,3) 来?

A:如果事务 B 在更新之前查询一次数据,这个查询返回的 k 的值确实是 1。
但是,当它要去更新数据的时候,就不能再在历史版本上更新了,否则事务 C 的更新就丢失了。因此,事务 B 此时的 set k=k+1 是在(1,2)的基础上进行的操作
更新数据都是先读后写的,而这个读,只能读当前的值,称为“当前读”(current read)。
因此,在更新的时候,当前读拿到的数据是 (1,2),更新后生成了新版本的数据 (1,3),这个新版本的 row trx_id 是 101。所以,在执行事务 B 查询语句的时候,一看自己的版本号是 101,最新数据的版本号也是 101,是自己的更新,可以直接使用,所以查询得到的 k 的值是 3
除了 update 语句外,select 语句如果加锁,也是当前读。
所以,如果把事务 A 的查询语句 select * from t where id=1 修改一下,加上 lock in share mode 或 for update,也都可以读到版本号是 101 的数据,返回的 k 的值是 3
下面这两个 select 语句,就是分别加了读锁(S 锁,共享锁)和写锁(X 锁,排他锁)。
  1. select k from t where id=1 lock in share mode;
  2. select k from t where id=1 for update;
复制代码
Q:假设事务 C 不是马上提交的,而是变成了下面的事务 C’,会怎么样呢?

事务 C’的不同是,更新后并没有马上提交,在它提交前,事务 B 的更新语句先发起了。前面说过了,虽然事务 C’还没提交,但是 (1,2) 这个版本也已经生成了,并且是当前的最新版本。那么,事务 B 的更新语句会怎么处理呢
A:考虑两阶段锁协议,事务 C’没提交,也就是说 (1,2) 这个版本上的写锁还没释放。而事务 B 是当前读,必须要读最新版本,而且必须加锁,因此就被锁住了必须等到事务 C’释放这个锁,才能继续它的当前读
事务的可重复读的能力是怎么实现的?

可重复读的核心就是一致性读(consistent read);而事务更新数据的时候,只能用当前读。如果当前的记录的行锁被其他事务占用的话,就需要进入锁等待
读提交的逻辑和可重复读

而读提交的逻辑和可重复读的逻辑类似,它们最主要的区别是:
导致:
Q:在读提交隔离级别下,事务 A 和事务 B 的查询语句查到的 k,分别应该是多少呢?
A:
下面是读提交时的状态图,可以看到这两个查询语句的创建视图数组的时机发生了变化,就是图中的 read view 框。(注意:这里,我们用的还是事务 C 的逻辑直接提交,而不是事务 C’)

这时,事务 A 的查询语句的视图数组是在执行这个语句的时候创建的,时序上 (1,2)、(1,3) 的生成时间都在创建这个视图数组的时刻之前。但是,在这个时刻:
所以,这时候事务 A 查询语句返回的是 k=2,事务 B 查询结果 k=3,能看到已提交的。。
Q:用下面的表结构和初始化语句作为试验环境,事务隔离级别是可重复读。现在,我要把所有“字段 c 和 id 值相等的行”的 c 值清零,但是却发现了一个“诡异”的、改不掉的情况。请你构造出这种情况,并说明其原理。
  1. CREATE TABLE `t` (
  2.   `id` int(11) NOT NULL,
  3.   `c` int(11) DEFAULT NULL,
  4.   PRIMARY KEY (`id`)
  5. ) ENGINE=InnoDB;
  6. insert into t(id, c) values(1,1),(2,2),(3,3),(4,4);
复制代码

A:如何构造一个“数据无法修改”的场景。



免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!




欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4