ToB企服应用市场:ToB评测及商务社交产业平台

标题: MySQL实战45讲 14 [打印本页]

作者: 火影    时间: 2022-9-1 06:09
标题: MySQL实战45讲 14
14 | count(*)这么慢,我该怎么办?

在开发系统的时候,你可能经常需要计算一个表的行数,比如一个交易系统的所有变更记录总数。
随着系统中记录数越来越多,select count(*) from t 语句执行得也会越来越慢
count(*) 的实现方式

在不同的 MySQL 引擎中,count(*) 有不同的实现方式。
这里讨论的是没有过滤条件的 count(*),如果加了 where 条件的话,MyISAM 表也是不能返回得这么快的。
Q:为什么 InnoDB 不跟 MyISAM 一样,也把数字存起来呢?
A:因为即使是在同一个时刻的多个查询,由于多版本并发控制(MVCC)的原因,InnoDB 表“应该返回多少行”也是不确定的。
举个例子:
假设表 t 中现在有 10000 条记录,我们设计了三个用户并行的会话。

在最后一个时刻,三个会话 A、B、C 会同时查询表 t 的总行数,但拿到的结果却不同。
这和 InnoDB 的事务设计有关系,可重复读是它默认的隔离级别,在代码上就是通过多版本并发控制,也就是 MVCC 来实现的。每一行记录都要判断自己是否对这个会话可见,因此对于 count(*) 请求来说,InnoDB 只好把数据一行一行地读出依次判断,可见的行才能够用于计算“基于这个查询”的表的总行数
在执行 count(*) 操作时的优化

InnoDB 是索引组织表,主键索引树的叶子节点是数据,而普通索引树的叶子节点是主键值。所以,普通索引树比主键索引树小很多。对于 count(*) 这样的操作,遍历哪个索引树得到的结果逻辑上都是一样的。因此,MySQL 优化器会找到最小的那棵树来遍历
在保证逻辑正确的前提下,尽量减少扫描的数据量,是数据库系统设计的通用法则之一。
Q:TABLE_ROWS 能代替 count(*) 吗?
A:show table status 命令输出结果是 TABLE_ROWS 。但是实际上,TABLE_ROWS 是从采样估算得来的,因此它很不准。所以,show table status 命令显示的行数也不能直接使用。
小结

如果你现在有一个页面经常要显示交易系统的操作记录总数,只能自己计数
自己计数的方法以及优缺点

用缓存系统保存计数

可以用一个 Redis 服务来保存这个表的总行数。这个表每被插入一行 Redis 计数就加 1,每被删除一行 Redis 计数就减 1。
这种方式下,读和更新操作都很快
存在问题:Redis 的数据不能永久地留在内存里,缓存系统可能会丢失更新
解决方法:找一个地方把这个值定期地持久化存储起来。
存在问题:即使持久话存储,仍然可能丢失更新。试想如果刚刚在数据表中插入了一行,Redis 中保存的值也加了 1,然后 Redis 异常重启了,重启后你要从存储 redis 数据的地方把这个值读回来,而刚刚加 1 的这个计数操作却丢失了。
解决方法:Redis 异常重启以后,到数据库里面单独执行一次 count(*) 获取真实的行数,再把这个值写回到 Redis 里就可以了。异常重启毕竟不是经常出现的情况,这一次全表扫描的成本,可以接受。
存在问题:即使 Redis 正常工作,这个值还是逻辑上不精确的
假设存在一个页面,要显示操作记录的总数,同时还要显示最近操作的 100 条记录。那么,这个页面的逻辑就需要先到 Redis 里面取出计数,再到数据表里面取数据记录。
可能存在两种情况:
情况1:

会话 A 是一个插入交易记录的逻辑,往数据表里插入一行 R,然后 Redis 计数加 1;会话 B 就是查询页面显示时需要的数据。
在 T3 时刻会话 B 来查询的时候,会显示出新插入的 R 这个记录,但是 Redis 的计数还没加 1。这时候,就会出现数据不一致。
情况2:

会话 B 在 T3 时刻查询的时候,Redis 计数加了 1 了,但还查不到新插入的 R 这一行,也是数据不一致的情况。
在并发系统里面,我们是无法精确控制不同线程的执行时刻的,因为存在图中的这种操作序列,所以,我们说即使 Redis 正常工作,这个计数值还是逻辑上不精确的
两个不同的存储构成的系统,不支持分布式事务,无法拿到精确一致的视图。
在数据库保存计数(优)

这个计数直接放到数据库里单独的一张计数表 C 中
解决了崩溃丢失的问题,InnoDB 是支持崩溃恢复不丢数据的。
解决计数不精确的问题,由于事务,存在不可见,逻辑上就是一致的。

虽然会话 B 的读操作仍然是在 T3 执行的,但是因为这时候更新事务还没有提交,所以计数值加 1 这个操作对会话 B 还不可见。因此,会话 B 看到的结果里, 查计数值和“最近 100 条记录”看到的结果,逻辑上就是一致的。
不同的 count 用法

Q:在 select count(?) from t 这样的查询语句里面,count(*)、count(主键 id)、count(字段) 和 count(1) 等不同用法的性能,有哪些差别?
A:
count() 的语义

count() 是一个聚合函数对于返回的结果集,一行行地判断,如果 count 函数的参数不是 NULL,累计值就加 1,否则不加。最后返回累计值。
所以,count(*)、count(主键 id) 和 count(1) 都表示返回满足条件的结果集的总行数;而 count(字段),则表示返回满足条件的数据行里面,参数“字段”不为 NULL 的总个数
分析性能差别的原则

对于 count(主键 id) 来说,InnoDB 引擎会遍历整张表,把每一行的 id 值都取出来,返回给 server 层。server 层拿到 id 后,判断是不可能为空的,就按行累加。
对于 count(1) 来说,InnoDB 引擎遍历整张表,但不取值server 层对于返回的每一行,放一个数字“1”进去,判断是不可能为空的,按行累加。
单看这两个用法的差别的话,count(1) 执行得要比 count(主键 id) 快。因为从引擎返回 id 会涉及到解析数据行,以及拷贝字段值的操作
对于 count(字段) 来说
也就是前面的第一条原则,server 层要什么字段,InnoDB 就返回什么字段。
但是 count(*) 是例外,并不会把全部字段取出来,而是专门做了优化,不取值。count(*) 肯定不是 null,按行累加。
Q:优化器就不能自己判断一下吗,主键 id 肯定非空啊,为什么不能按照 count(*) 来处理
A:MySQL 专门针对这个语句进行优化,也不是不可以。但是这种需要专门优化的情况太多了,而且 MySQL 已经优化过 count(*) 了,直接使用这种用法就可以了。
结论:


按照效率排序的话,count(字段)




欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4