Mysql-索引的数据布局

为什么要使用索引

索引是存储引擎用于快速找到数据记录的一种数据布局，就好比一本教科书的目录部分，通过目录中找到对应文章的页码，便可快速定位到需要的文章。MySQL中也是一样的原理，进行数据查找时，起首查看查询条件是否掷中某条索引，符合则通过索引查找相关数据，如果不符合则需要全表扫描，即需要一条一条地查找记录，直到找到与条件符合的记录。

如上图所示，数据库没有索引的情况下，数据分布在硬盘差别的位置上面，读取数据时，摆臂需要前后摆动查询数据，这样操作非常斲丧时间。如果数据次序摆放，那么也需要从1到6行按次序读取，这样就相当于进行了6次IO操作，依旧非常耗时。如果我们不借助任何索引布局资助我们快速定位数据的话，我们查找 Col 2 = 89 这条记录，就要逐行去查找、去比力。从Col 2 = 34 开始，进行比力，发现不是，继续下一行。我们当前的表只有不到10行数据，但如果表很大的话，有上千万条数据，就意味着要做许多许多次硬盘I/0才能找到。现在要查找 Col 2 = 89 这条记录。CPU必须先去磁盘查找这条记录，找到之后加载到内存，再对数据进行处理。这个过程最耗时间就是磁盘I/O（涉及到磁盘的旋转时间（速度较快），磁头的寻道时间(速度慢、费时)）
如果给数据使用 二叉树 这样的数据布局进行存储，如下图所示

 对字段 Col 2 添加了索引，就相当于在硬盘上为 Col 2 维护了一个索引的数据布局，即这个 二叉搜索树。二叉搜索树的每个结点存储的是 (K, V) 布局，key 是 Col 2，value 是该 key 地点行的文件指针（地址）。好比：该二叉搜索树的根节点就是：(34, 0x07)。现在对 Col 2 添加了索引，这时再去查找 Col 2 = 89 这条记录的时候会先去查找该二叉搜索树（二叉树的遍历查找）。读 34 到内存，89 > 34; 继续右侧数据，读 89 到内存，89==89；找到数据返回。找到之后就根据当前结点的 value 快速定位到要查找的记录对应的地址。我们可以发现，只需要 查找两次 就可以定位到记录的地址，查询速度就提高了。
这就是我们为什么要建索引，目标就是为了 减少磁盘I/O的次数，加速查询速率。
索引及其优缺点

索引概述

MySQL官方对索引的定义为：索引（Index）是资助MySQL高效获取数据的数据布局。
索引的本质：索引是数据布局。你可以简朴理解为“排好序的快速查找数据布局”，满足特定查找算法。 这些数据布局以某种方式指向数据， 这样就可以在这些数据布局的根本上实现 高级查找算法。
   索引是在存储引擎中实现的，因此每种存储引擎的索引不一定完全相同，而且每种存储引擎不一定支持所有索引类型。同时，存储引擎可以定义每个表的 最大索引数和 最大索引长度。所有存储引擎支持每个表至少16个索引，总索引长度至少为256字节。有些存储引擎支持更多的索引数和更大的索引长度。
  优点

   （1）类似大学图书馆建书目索引，提高数据检索的效率，降低 数据库的IO成本 ，这也是创建索引最主 要的缘故原由。
  （2）通过创建唯一索引，可以保证数据库表中每一行 数据的唯一性 。
  （3）在实现数据的参考完备性方面，可以 加速表和表之间的连接 。换句话说，对于有依靠关系的子表和父表联合查询时， 可以提高查询速度。
  （4）在使用分组和排序子句进行数据查询时，可以明显 减少查询中分组和排序的时间 ，降低了CPU的斲丧。
  缺点

增长索引也有许多不利的方面，主要表现在如下几个方面：
   （1）创建索引和维护索引要 耗费时间 ，并 且随着数据量的增长，所耗费的时间也会增长。
  （2）索引需要占 磁盘空间 ，除了数据表占数据空间之外，每一个索引还要占一定的物理空间， 存储在磁盘上 ，如果有大量的索引，索引文件就可能比数据文件更快达到最大文件尺寸。
  （3）虽然索引大大提高了查询速度，同时却会 降低更新表的速度 。当对表 中的数据进行增长、删除和修改的时候，索引也要动态地维护，这样就降低了数据的维护速度。 因此，选择使用索引时，需要综合考虑索引的优点和缺点。
  InnoDB中索引的推演

索引之前的查找

在一个页中的查找

假设目前表中的记录比力少，所有的记录都可以被存放到一个页中，在查找记录的时候可以根据搜索条件的差别分为两种情况：
   

• 以主键为搜索条件
  可以在页目录中使用 二分法 快速定位到对应的槽，然后再遍历该槽对用分组中的记录即可快速找到指定记录。
  
• 以其他列作为搜索条件
  因为在数据页中并没有对非主键列简历所谓的页目录，所以我们无法通过二分法快速定位相应的槽。这种情况下只能从  最小记录开始依次遍历到最大记录（全表扫描）， 然后对比每条记录是不是符合搜索条件。很显然，这种查找的效率是非常低的。
  

  在许多页中查找

在许多页中查找记录的活动可以分为两个步骤：
   

• 定位到记录地点的页：即从整个双向链表的页，遍历到最后的页
  
• 从地点的页内中查找相应的记录：找到对应页之后，再遍历页中的记录。
  

  在没有索引的情况下，不论是根据主键列或者其他列的值进行查找，由于我们并不能快速的定位到记录地点的页，所以只能从第一个页沿着双向链表 不停往下找，在每一个页中根据我们上面的查找方式去查找指定的记录。因为要遍历所有的数据页，所以这种方式显然是超等耗时的  
设计索引

创建表

1. CREATE TABLE index_demo(
2. -> c1 INT,
3. -> c2 INT,
4. -> c3 CHAR(1),
5. -> PRIMARY KEY(c1)
6. -> ) ROW_FORMAT = Compact;

复制代码

这个新建的 index_demo 表中有2个INT类型的列，1个CHAR(1)类型的列，而且我们规定了c1列为主键， 这个表使用 Compact 行格式来实际存储记录的。这里我们简化了index_demo表的行格式示意图：

我们只在示意图里展示记录的这几个部分：
   

• record_type ：记录头信息的一项属性，表现记录的类型， 0 表现普通记录、 2 表现最小记 录、 3 表现最大记录、 1 临时还没用过，下面讲。
  
• next_record ：记录头信息的一项属性，表现下一条地址相对于本条记录的地址偏移量，我们用 箭头来表明下一条记录是谁。
  
• 各个列的值 ：这里只记录在 index_demo 表中的三个列，分别是 c1 、 c2 和 c3 。
  
• 其他信息 ：除了上述3种信息以外的所有信息，包罗其他隐藏列的值以及记录的额外信息。
  

   将记录格式示意图的其他信息项临时去掉并把它竖起来的效果就是这样：

把一些记录放到页里的示意图就是：

 
简朴的索引设计方案

我们在根据某个搜索条件查找一些记录时为什么要遍历所有的数据页呢？因为各个页中的记录并没有规律，我们并不知道我们的搜索条件匹配哪些页中的记录，所以不得不依次遍历所有的数据页。所以如果我们 想快速的定位到需要查找的记录在哪些数据页 中该咋办？我们可以为快速定位记录地点的数据页而创建一个目录 ，建这个目录必须完成下边这些事：

• 下一个数据页中用户记录的主键值必须大于上一个页中用户记录的主键值。
  

假设：每个数据布局最多能存放3条记录（实际上一个数据页非常大，可以存放下很多多少记录）。

1. INSERT INTO index_demo VALUES(1, 4, 'u'), (3, 9, 'd'), (5, 3, 'y');

复制代码

那么这些记录以及按照主键值的巨细串联成一个单向链表了，如图所示：

从图中可以看出来， index_demo 表中的3条记录都被插入到了编号为10的数据页中了。此时我们再来插入一条记录

1. INSERT INTO index_demo VALUES(4, 4, 'a');

复制代码

 因为 页10 最多只能放3条记录，所以我们不得不再分配一个新页：

 此时新分配的 数据页编号可能并不是连续的。它们只是通过维护者上一个页和下一个页的编号而创建了 链表 关系。别的，页10中用户记录最大的主键值是5，而页28中有一条记录的主键值是4，因为5>4，所以这就不符合下一个数据页中用户记录的主键值必须大于上一个页中用户记录的主键值的要求，所以在插入主键值为4的记录的时候需要伴随着一次 记录移动，也就是把主键值为5的记录移动到页28中，然后再把主键值为4的记录插入到页10中，这也就是维护索引的过程，这个过程的示意图如下：

 这个过程表明确在对页中的记录进行增删改查操作的过程中，我们必须通过一些诸如 记录移动 的操作来始终保证这个状态不停成立：下一个数据页中用户记录的主键值必须大于上一个页中用户记录的主键值。这个过程称为页分裂。

• 给所有的页创建一个目录项。
  

由于数据页的 编号可能是不连续 的，所以在向 index_demo 表中插入许多条记录后，可能是这样的效果，又要遍历每个页，但每个页中的可以通过二分法来筛选，但也效率低下：

 我们可以给每个页做个目录，每个页对应一个目录项，每个目录项包罗下边两个部分：
   1）页的用户记录中最小的主键值，我们用 key 来表现。
  2）页号，我们用 page_on 表现。
   

以 页28 为例，它对应 目录项2 ，这个目录项中包罗着该页的页号 28 以及该页中用户记录的最小主 键值 5 。我们只需要把几个目录项在物理存储器上连续存储（好比：数组），就可以实现根据主键 值快速查找某条记录的功能了。好比：查找主键值为 20 的记录，具体查找过程分两步：
   

• 先从目录项中根据 二分法 快速确定出主键值为 20 的记录在 目录项3 中（因为 12 < 20 < 209 ），它对应的页是 页9 。
  
• 再根据前边说的在页中查找记录的方式去 页9 中定位具体的记录
  

   InnoDB中的索引方案

• 迭代1次：目录项记录的页
  

InnoDB怎么区分一条记录是普通的 用户记录 还是 目录项记录 呢？使用记录头信息里的 record_type 属性，它的各自取值代表的意思如下：
   

• 0：普通的用户记录
  
• 1：目录项记录
  
• 2：最小记录
  
• 3：最大记录
  

   我们把前边使用到的目录项放到数据页中的样子就是这样：

从图中可以看出来，我们新分配了一个编号为30的页来专门存储目录项记录。这里再次强调 目录项记录 和普通的 用户记录 的差别点：
   

• 目录项记录 的 record_type 值是1，而 普通用户记录 的 record_type 值是0。
  
• 目录项记录只有 主键值和页的编号 两个列，而普通的用户记录的列是用户本身定义的，可能包罗 许多列 ，别的还有InnoDB本身添加的隐藏列。
  
• 了解：记录头信息里还有一个叫 min_rec_mask 的属性，只有在存储 目录项记录 的页中的主键值最小的 目录项记录 的 min_rec_mask 值为 1 ，其他别的记录的 min_rec_mask 值都是 0 。
  

   相同点在于探求记录时，跟普通页数据是一样的，通过找到记录对应的页目录，再通过页目录找到对应的页，精准查询，减少了磁盘io的斲丧。

• 迭代2次：多个目录项记录的页
  

从图中可以看出，我们插入了一条主键值为320的用户记录之后需要两个新的数据页：
   

• 为存储该用户记录而新天生了 页31 。
  
• 因为原先存储目录项记录的 页30的容量已满 （我们前边假设只能存储4条目录项记录），所以不得 不需要一个新的 页32 来存放 页31 对应的目录项。
  

   由于现在数据页不止一个，也需要遍历页，才能找到对应记录的页目录。

• 迭代3次：目录项记录页的目录页
  

 如果我们表中的数据非常多则会产生许多存储目录项记录的页，那我们怎么根据主键值快速定位一个存储目录项记录的页呢？那就为这些存储目录项记录的页再天生一个更高级的目录，，再套一层娃，就像是一个多级目录一样，大目录里嵌套小目录，小目录里才是实际的数据，所以现在各个页的示意图就是这样子：

如图，我们天生了一个存储更高级目录项的 页33 ，这个页中的两条记录分别代表页30和页32，如果用 户记录的主键值在 [1, 320) 之间，则到页30中查找更详细的目录项记录，如果主键值 不小于320 的 话，就到页32中查找更详细的目录项记录。
我们可以用下边这个图来形貌它：

B+Tree

一个B+树的节点着实可以分成很多多少层，规定最下边的那层，也就是存放我们用户记录的那层为第 0 层， 之后依次往上加。之前我们做了一个非常极度的假设：存放用户记录的页 最多存放3条记录 ，存放目录项 记录的页 最多存放4条记录 。着实真实情况中一个页存放的记录数量是非常大的，假设所有存放用户记录 的叶子节点代表的数据页可以存放 100条用户记录 ，所有存放目录项记录的内节点代表的数据页可以存 放 1000条目录项记录 ，那么：
   

• 如果B+树只有1层，也就是只有1个用于存放用户记录的节点，最多能存放 100 条记录。
  
• 如果B+树有2层，最多能存放 1000×100=10,0000 条记录。
  
• 如果B+树有3层，最多能存放 1000×1000×100=1,0000,0000 条记录。
  
• 如果B+树有4层，最多能存放 1000×1000×1000×100=1000,0000,0000 条记录。相当多的记录！
  

  你的表里能存放 100000000000 条记录吗？所以一般情况下，我们用到的 B+树都不会凌驾4层 ，那我们通过主键值去查找某条记录最多只需要做4个页面内的查找（查找3个目录项页和一个用户记录页），又因为在每个页面内有所谓的 Page Directory （页目录），所以在页面内也可以通过 二分法 实现快速定位记录。
InnoDB的B+树索引的留意事项

• 根页面位置万年不动
  

实际上B+树的形成过程是这样的：
   

• 每当为某个表创建一个B+树索引（聚簇索引不是人为创建的，默认就有）的时候，都会为这个索引创建一个根节点页。最开始表中没有数据的时候，每个B+树索引对应的根节点中即没有用户记录，也没有目录项记录。
  
• 随后向表中插入用户记录时，先把用户记录存储到这个根节点中。
  
• 当根节点中的可用空间用完时继续插入记录，此时会将根节点中的所有记录复制到一个新分配的页，好比 页a 中，然后对这个新页进行页分裂的操作，得到另一个新页，好比页b 。这时新插入的记录根据键值（也就是聚簇索引中的主键值，二级索引中对应的索引列的值）的巨细就会被分配到 页a 或者 页b 中，而 根节点 便升级为存储目录项记录的页。
  

  这个过程特殊留意的是：一个B+树索引的根节点自诞生之日起，便不会再移动。这样只要我们对某个表发起一个索引，那么它的根节点的页号便会被记录到某个地方。然后凡是 InnoDB 存储引擎需要用到这个索引的时候，都会从哪个固定的地方取出根节点的页号，从而来访问这个索引。  

• 内节点中目录项记录的唯一性
  

 我们知道B+树索引的内节点中目录项记录的内容是 索引列 + 页号 的搭配，但是这个搭配对于二级索引来说有点不严谨。还拿 index_demo 表为例，假设这个表中的数据是这样的：

如果二级索引中目录项记录的内容只是 索引列 + 页号 的搭配的话，那么为 c2 列简历索引后的B+树应该长这样：

 
   如果我们想新插入一行记录，其中 c1 、c2 、c3 的值分别是: 9、1、c, 那么在修改这个为 c2 列创建的二级索引对应的 B+ 树时便碰到了个大题目：由于 页3 中存储的目录项记录是由 c2列 + 页号 的值构成的，页3 中的两条目录项记录对应的 c2 列的值都是1，而我们 新插入的这条记录 的 c2 列的值也是 1，那我们这条新插入的记录到底应该放在 页4 中，还是应该放在 页5 中？答案：对不起，懵了
  为了让新插入记录找到本身在谁人页面，我们需要保证在B+树的同一层页节点的目录项记录除页号这个字段以外是唯一的。所以对于二级索引的内节点的目录项记录的内容实际上是由三个部分构成的：
   

• 索引列的值
  
• 主键值
  
• 页号
  

   也就是我们把主键值也添加到二级索引内节点中的目录项记录，这样就能保住 B+ 树每一层节点中各条目录项记录除页号这个字段外是唯一的，所以我们为c2创建二级索引后的示意图实际上应该是这样子的：

这样我们再插入记录(9, 1, 'c') 时，由于 页3 中存储的目录项记录是由 c2列 + 主键 + 页号 的值构成的，可以先把新记录的 c2 列的值和 页3 中各目录项记录的 c2 列的值作比力，如果 c2 列的值相同的话，可以接着比力主键值，因为B+树同一层中差别目录项记录的 c2列 + 主键的值肯定是不一样的，所以最后肯定能定位唯一的一条目录项记录，在本例中最后确定新记录应该被插入到 页5 中。

• 一个页面最少存储 2 条记录
  

 一个B+树只需要很少的层级就可以轻松存储数亿条记录，查询速度相当不错！这是因为B+树本质上就是一个大的多层级目录，每颠末一个目录时都会过滤掉许多无效的子目录，直到最后访问到存储真实数据的目录。那如果一个大的目录中只存放一个子目录是个啥效果呢？那就是目录层级非常非常多，而且最后的谁人存放真实数据的目录中只存放一条数据。所以 InnoDB 的一个数据页至少可以存放两条记录。即得有两条记录才能形成树的分支

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。