MySQL Server架构概述

推荐：SQL语句执行次序相关问题。
MySQL Server架构

分层概述

MySQL Server架构可抽象为3层。

• 连接层：验证用户名密码，认证成功后，获取当前账号的权限并缓存，并分配TCP连接池和线程池资源。
  
• 处置惩罚层：实现核心的处置惩罚功能。
  
• 存储层：将处置惩罚后的数据高性能安全的写入磁盘，或从磁盘中正确的读取。
  

模块构成与执行次序

• 连接层 ：提供多个线程用于客户端和服务器交互，连接层包含连接池与线程池。
  
  
  
  • 连接池：MySQL可以有多个客户端进行连接，为了办理TCP连接频繁创建销毁引起的性能损耗，所以建立了TCP连接池，采用长连接模式复用TCP连接。
    
  • 线程池：MySQL采用多线程的方式运行，MySQL Server也会分配一个线程来处置惩罚背面的流程，像TCP连接池一样，为了避免开销，也会创建一个线程池。
    
  
  
• SQL接口：接收SQL指令，返回查询结果。
  
• 缓存缓冲区：使用键值对的方式缓存查询的结果（由于掷中率太低在8的版本中被废弃）。
  
• 剖析器：对SQL语法进行分析，让程序读懂SQL。将SQL语句分解，验证权限，创建为语法树，如果SQL语法错误，也是在这一步给的提示。流程如下：词法分析->语法分析->分析机->抽象语法树。
  
• 优化器：对SQL的执行进行优化，进行查询时，根据索引和SQL的情况，选择最合适的查询策略，这个模块是最复杂的模块。
  
• 可插拔存储引擎： 存储引擎（InnoDB，MyISAM等）用于规范数据怎样被高效安全的读写。可插拔主要体如今针对库大概表可以进行引擎切换，结合日志模块 （老生常谈的Bin、Relay、Redo、Undo、Error、General、Slow这些）生成相关日志。
  
• 文件体系：这是操纵体系层的东西，数据不是无脑存储到磁盘上的，须要文件体系的束缚，它提供了对存储设备的访问、分配、保护和检索文件的方法，文件体系诸如NTFS，EXFAT，FAT32，NFS、NAS，EXT2、EXT3。
  

data文件相关

InnoDB引擎.frm、.idb、.opt文件是什么？

MySQL登录成功后使用SHOW VARIABLES LIKE 'datadir';，大概Linux体系下查看vim /etc/my.cnf，找datadir项，可查看数据存储的目录。认准一个使用InnoDB引擎的非空数据库，在datadir/数据库名的目录下会发现有.frm、.idb文件、.opt类型的文件。

• .frm 存储表结构的数据。
  
• .idb用于存储数据（5.7及以上默认使用，8的版本只有.idb，把idb和.frm进行了合并）。
  
• .opt，通常叫做db.opt，纯文本，用于存储字符集编码排序规则那套东西：例如default-character-set=utf8mb4;default-collation=utf8mb4_unicode_ci;（8的版本已去除）
  

InnoDB引擎.idb与ibdata1文件版本差异

注意mysql5.5.7到5.6.6的版本中的数据，是放在data/ibdata1文件中的。
.idb叫做独立表空间，ibdata1叫做体系表空间。
使用show variables like 'innodb_file_per_table';可查看相关设置，如果是OFF，则表示使用ibdata1文件。ON表示使用独立表空间。
MyISAM引擎.frm、.MYD、.MYI、.opt文件是什么的？

MySQL登录成功后使用SHOW VARIABLES LIKE 'datadir';，大概Linux体系下查看vim /etc/my.cnf，找datadir项，可查看数据存储的目录。认准一个使用InnoDB引擎的非空数据库，在datadir/数据库名的目录下会发现有.frm、.MYD、.MYI、.opt文件类型的文件。

• .frm 存储表结构的数据（在8的版本变成了.sdi）。
  
• .MYD，用于存数据。
  
• .MYI，用于存储索引。
  
• .MYD、.MYI合并到一起，相称于InnoDB引擎的idb文件。
  
• .opt，通常叫做db.opt，纯文本，用于存储字符集编码排序规则那套东西：例如default-character-set=utf8mb4;default-collation=utf8mb4_unicode_ci;（8的版本已去除）。
  

data下的各种日志，会在另一篇文章中讲。

既然有了information_schema 库来存储元数据，为什么还要.frm和.opt?

information_schema库，用于存储数据库的结构、表、视图、列、束缚、索引等信息的元数据，同时.frm和.opt也存储了一份元数据，这也是问题的由来。
偏重定位差别，information_schema 数据库是一个用于快速检索元数据的库，方便开发者进行元数据分析和操纵，而.frm是专门服务于表结构的，MySQL本身玩的就是数据，适当的冗余不见得是坏事。
information_schema的部分数据基于.frm、.opt，还是独立维护？

部分基于.frm、.opt。
试试就知道，开了一个虚拟机找一个测试库，.frm非文本文件没法改，修改某个库的.opt文件，将default-collation=utf8mb4_unicode_ci;改为default-collation=utf8mb4_general_ci;重启MySQL服务，执行SELECT * FROM information_schema.SCHEMATA WHERE SCHEMA_NAME = 'db_name';发现编码同步做了更改。
扩展

MySQL8对缓存缓冲区的移除

缓存缓冲区和Redis在项目中作用与用法相似，用于缓存查询语句查询出来的结果，key为SQL语句，val为数据，使用空间换时间，里面涉及表缓存，记录缓存，权限缓存等。
此模块在8的版本中移除，由于掷中率太低。如果查询哀求包含某些体系函数（now()），大概一些体系库（如mysql、information_schema、performance_schema）那么哀求就不会被缓存。是缓存就会有一致性的问题，mysql会监听每一张表的写操纵（DDL，DML），如果发生了变更，将会删除缓存。其次是对于复杂的业务，不会只有读操纵，这也是分表冷热数据分离的原因之一，所以被移撤除了。
客户端连接器

连接器属于客户端（MySQL  Client、Navicat、PHP的PDO，Java的JDBC等）的组件，所以放到了这里。用于和MySQL Server通信。一般是有TCP和Socket两种通信方式（与PHP与Nginx通信方式类似）。

• TCP就是常见的IP端口号的方式。
  
• Socket就是UNIX套接字,一种本地通信方式。在linux中创建一个套接字文件（.sock文件），客户端通过该文件与服务器通信。与TCP/IP相比，使用UNIX域套接字可以更快地进行本地通信，由于不须要经过网络协议栈的处置惩罚。但是由于无法远程的局限性，所以用得少，对PHP开发者来说，PDO和主流框架，都支持此连接方式。
  

查询缓存掷中率

执行show status like 'Qcache%';会得到一个kv格式的表格
Qcache_free_blocks: 查询缓存中空闲的内存块数量。
Qcache_free_memory: 查询缓存中可用的内存巨细。
Qcache_hits: 查询缓存掷中的次数，即从查询缓存中成功获取到结果的查询次数。
Qcache_inserts: 查询缓存中插入的查询次数。
Qcache_lowmem_prunes: 由于内存不足而从查询缓存中移除的查询次数。
Qcache_not_cached: 由于不符合查询缓存规则而没有被缓存的查询次数。
Qcache_queries_in_cache: 当前查询缓存中缓存的查询数量。
Qcache_total_blocks: 查询缓存中的内存块总数量。
数据库缓冲池

InnoDB是依靠页来管理存储空间的，CRUD的操纵是对页面的读写。由于磁盘IO操纵慢，内存操纵快，所以MySQL Server会使用内存来作为数据缓冲池，真正访问页之前，须要把磁盘上的页缓存到内存中的Buffer Pool后才可以访问，用于提升MySQL的性能。
流程：当数据库体系须要从磁盘读取数据时，它首先检查缓冲池中是否已经缓存了相应的数据页。如果数据页已经在缓冲池中，则不须要从磁盘读取，而是直接从缓冲池中获取数据，这样可以大大进步数据检索速度。
缓冲池的数据有数据页、索引页、锁数据、和数据字典。
设置缓冲池

MyISAM：缓冲池和innodb的不一样，是键缓存，参数为key_buffer_size;
查看：SHOW VARIABLES LIKE 'key_buffer_size'; SHOW STATUS LIKE 'Key_blocks_%';单元为字节。
设置：在my.cnf中设置key_buffer_size = 256M后重启。
InnoDB：
查看：SHOW VARIABLES LIKE 'innodb_buffer_pool_size';单元为字节。
设置：在my.cnf中设置innodb_buffer_pool_size = 256M后重启。
不想要重启，可以使用set globak k=v，（5.7及以上可用）。但是无法持久化保存。
多个缓冲池


在多线程情况下，访问buffer pool中的数据须要加锁处置惩罚，对于并发量打的情况下，加锁会影响处置惩罚速度，所以就考虑到拆分buffer pool的情况，用于进步并发处置惩罚的能力。每个buffer pool被称为一个实例，他们是独立的，独立的申请内存，独立的管理数据。
查看：SHOW VARIABLES LIKE 'innodb_buffer_pool_instances';
设置：在my.cnf中设置innodb_buffer_pool_instances= 2后重启。
每个buffer_size为innodb_buffer_pool_size  / innodb_buffer_pool_instances；
当innodb_buffer_pool_size