余生慢尝

数据目录

数据库和文件系统的关系

我们知道像 InnoDB 、 MyISAM 这样的存储引擎都是把表存储在磁盘上的，而操作系统用来管理磁盘的那个东西又被称为 文件系统 ，所以用专业一点的话来表述就是：像 InnoDB 、 MyISAM 这样的存储引擎都是把表存储在文件系统上的。当我们想读取数据的时候，这些存储引擎会从文件系统中把数据读出来返回给我们，当我们想写入数据的时候，这些存储引擎会把这些数据又写回文件系统。本章就是要说一下 InnoDB 和 MyISAM 这两个存储引擎的数据如何在文件系统中存储的。

MySQL 数据目录

MySQL服务器程序在启动时会到文件系统的某个目录下加载一些文件，之后在运行过程中产生的数据也都会存储到这个目录下的某些文件中，这个目录就称为 数据目录 ，我们下边就要详细唠唠这个目录下具体都有哪些重要的东西。

如何确定MySQL中的数据目录

数据目录 对应着一个系统变量 datadir ，我们在使用客户端与服务器建立连接之后查看这个系统变量的值就可以了：

mysql> show variables like 'datadir';
+---------------+---------------------------------------------+
| Variable_name | Value                                       |
+---------------+---------------------------------------------+
| datadir       | C:\ProgramData\MySQL\MySQL Server 8.0\Data\ |
+---------------+---------------------------------------------+
1 row in set, 1 warning (0.00 sec)

从结果中可以看出，在我的计算机上 MySQL 的数据目录就是 C:\ProgramData\MySQL\MySQL Server 8.0\Data\

数据目录结构

MySQL 在运行过程中都会产生哪些数据呢？当然会包含我们创建的数据库、表、视图和触发器的用户数据，除了这些用户数据，为了程序更好的运行， MySQL 也会创建一些其他的额外数据，我们接下来细细的品味一下这个 数据目录下的内容。

数据库在文件系统中的表示

每当我们使用 CREATE DATABASE 数据库名 语句创建一个数据库的时候，在文件系统上实际发生了什么呢？其实很简单，每个数据库都对应数据目录下的一个子目录，或者说对应一个文件夹，我们每当我们新建一个数据库时， MySQL 会帮我们做这两件事儿：

  1. 在 数据目录 下创建一个和数据库名同名的子目录（或者说是文件夹）
  2. 在该与数据库同名的子目录下创建一个名为 db.opt 的文件（MySQL8.0不再提供db.opt文件），这个文件中包含了该数据库的各种属性，比方说该数据库的字符集和比较规则是个啥。

表在文件系统中的表示

我们的数据其实都是以记录的形式插入到表中的，每个表的信息其实可以分为两种：

  1. 表结构的定义
  2. 表中的数据

表结构 就是该表的名称是啥，表里边有多少列，每个列的数据类型是啥，有啥约束条件和索引，用的是啥字符集和比较规则吧啦吧啦的各种信息，这些信息都体现在了我们的建表语句中了。为了保存这些信息， InnoDB 和 MyISAM 这两种存储引擎都在 数据目录 下对应的数据库子目录下创建了一个专门用于描述表结构的文件，文件名是这样：表名.frm，这个文件名在 MySQL8.0 中也取消了。

描述表结构的文件我们知道怎么存储了，那表中的数据存到什么文件中了呢？在这个问题上，不同的存储引擎就产生了分歧了，下边我们分别看一下 InnoDB 和 MyISAM 是用什么文件来保存表中数据的。

InnoDB是如何存储表数据的

我们前边重点唠叨过 InnoDB 的一些实现原理，到现在为止我们应该熟悉下边这些东东：

  • InnoDB 其实是使用 页 为基本单位来管理存储空间的，默认的 页 大小为 16KB 。
  • 对于 InnoDB 存储引擎来说，每个索引都对应着一棵 B+ 树，该 B+ 树的每个节点都是一个数据页，数据页之间不必要是物理连续的，因为数据页之间有 双向链表 来维护着这些页的顺序。
  • InnoDB 的聚簇索引的叶子节点存储了完整的用户记录，也就是所谓的索引即数据，数据即索引。

为了更好的管理这些页， InnoDB 的作者提出了一个 表空间 或者 文件空间 （英文名： table space 或者 file space ）的概念，这个表空间是一个抽象的概念，它可以对应文件系统上一个或多个真实文件（不同表空间对应的文件数量可能不同）。每一个 表空间 可以被划分为很多很多很多个 页 ，我们的表数据就存放在某个 表空间 下的某些页里。 InnoDB 将表空间划分为几种不同的类型，我们一个一个看一下。

系统表空间（system tablespace）

这个所谓的 系统表空间 可以对应文件系统上一个或多个实际的文件，默认情况下，InnoDB 会在 数据目录 下创建一个名为 ibdata1、大小为 12M 的文件用来存储数据信息和索引信息，这个文件就是对应的 系统表空间 在文件系统上的表示，这个文件是所谓的自扩展文件 ，也就是当不够用的时候它会自己增加文件大小

当然，如果你想让系统表空间对应文件系统上多个实际文件，或者仅仅觉得原来的 ibdata1 这个文件名难听，那可以在 MySQL 启动时配置对应的文件路径以及它们的大小，比如我们这样修改一下配置文件：

[server]
innodb_data_file_path=data1:512M;data2:512M:autoextend

这样在 MySQL 启动之后就会创建这两个512M大小的文件作为 系统表空间 ，其中的 autoextend 表明这两个文件如果不够用会自动扩展 data2 文件的大小。

我们也可以把 系统表空间 对应的文件路径不配置到 数据目录 下，甚至可以配置到单独的磁盘分区上，涉及到的启动参数就是 innodb_data_file_path 和 innodb_data_home_dir ，具体的配置逻辑挺绕的，我们这就不多唠叨了，知道改哪个参数可以修改 系统表空间 对应的文件，有需要的时候到官方文档里一查就好了。

需要注意的一点是，在一个MySQL服务器中，系统表空间只有一份。从MySQL5.5.7到MySQL5.6.6之间的各个版本中，我们表中的数据都会被默认存储到这个 系统表空间。

独立表空间(file-per-table tablespace)：

在MySQL5.6.6以及之后的版本中， InnoDB 并不会默认的把各个表的数据存储到 系统表空间 中，而是为每一个表建立一个 独立表空间，也就是说我们创建了多少个表，就有多少个 独立表空间 。使用 独立表空间 来存储表数据的话，会在该表所属数据库对应的子目录下创建一个表示该 独立表空间 的文件，文件名和表名相同，只不过添加了一个 .ibd 的扩展名而已，所以完整的文件名称长这样：表名.ibd

我们也可以自己指定使用 系统表空间 还是 独立表空间 来存储数据，这个功能由启动参数 innodb_file_per_table 控制，比如说我们想刻意将表数据都存储到 系统表空间 时，可以在启动 MySQL 服务器的时候这样配置：

[server]
innodb_file_per_table=0

当 innodb_file_per_table 的值为 0 时，代表使用系统表空间；当 innodb_file_per_table 的值为 1 时，代表使用独立表空间。不过 innodb_file_per_table 参数只对新建的表起作用，对于已经分配了表空间的表并不起作用。如果我们想把已经存在系统表空间中的表转移到独立表空间，可以使用下边的语法：

ALTER TABLE 表名 TABLESPACE [=] innodb_file_per_table;

或者把已经存在独立表空间的表转移到系统表空间，可以使用下边的语法：

ALTER TABLE 表名 TABLESPACE [=] innodb_system;

其中中括号扩起来的 = 可有可无，比方说我们想把 test 表从独立表空间移动到系统表空间，可以这么写：

ALTER TABLE test TABLESPACE innodb_system;

其他类型的表空间：

随着MySQL的发展，除了上述两种老牌表空间之外，现在还新提出了一些不同类型的表空间，比如通用表空间（general tablespace）、undo表空间（undo tablespace）、临时表空间（temporary tablespace）吧啦吧啦的，具体情况我们就不细唠叨了，等用到的时候再提。

MyISAM是如何存储表数据的

在 MyISAM 中的索引全部都是 二级索引，该存储引擎的数据和索引是分开存放的。所以在文件系统中也是使用不同的文件来存储数据文件和索引文件。而且和 InnoDB 不同的是， MyISAM 并没有什么所谓的 表空间 一说，表数据都存放到对应的数据库子目录下。假如 user 表使用 MyISAM 存储引擎的话，那么在它所在数据库对应的 xiaohaizi 目录下会为 user 表创建这三个文件：

  1. user.frm：描述表结构文件，字段长度等。
  2. user.MYD：数据信息文件，存储数据信息(如果采用独立表存储模式)
  3. user.MYI：存放索引信息文件

如果是 MySQL8.0的话，不会创建 user.frm 而是用 user_xxx.sdi文件，用来描述表结构文件，字段长度等。另外两个文件名是一样的。

其他的文件

除了我们上边说的这些用户自己存储的数据以外， 数据目录 下还包括为了更好运行程序的一些额外文件，主要 包括这几种类型的文件：

  • 服务器进程文件

    我们知道每运行一个 MySQL 服务器程序，都意味着启动一个进程。 MySQL 服务器会把自己的进程ID写入到一个文件中。

  • 服务器日志文件。

    在服务器运行过程中，会产生各种各样的日志，比如常规的查询日志、错误日志、二进制日志、redo日志吧啦吧啦各种日志，这些日志各有各的用途，我们之后会重点唠叨各种日志的用途，现在先了解一下就可以了。

  • 默认/自动生成的SSL和RSA证书和密钥文件。

    主要是为了客户端和服务器安全通信而创建的一些文件