hankviv
commented
4 years ago redo log（重做日志）和 binlog（归档日志）
重要的日志模块：redo log
redo log 是 InnoDB 引擎特有的日志 MySQL执行操作的时候，如果每一次的更新操作都需要写进磁盘，然后磁盘也要找到对应的那条记录，然后再更新，整个过程 IO 成本、查找成本都很高。
WAL 的全称是 Write-Ahead Logging，它的关键点就是先写日志，再写磁盘。
当有一条记录需要更新的时候，InnoDB 引擎就会先把记录写到 redo log 里面，并更新内存，这个时候更新就算完成了。同时，InnoDB 引擎会在系统比较空闲的时候，将这个操作记录更新到磁盘里面。
InnoDB 的 redo log 是固定大小的，比如可以配置为一组 4 个文件，每个文件的大小是 1GB，从头开始写，写到末尾就又回到开头循环写。
类似于 链表快慢指针操作。 write pos 是当前记录的位置，一边写一边后移， checkpoint 是当前要擦除的位置，也是往后推移并且循环的，擦除记录前要把记录更新到数据文件。 write pos -> checkpoint 之间的是可以用来记录新的操作的部分。如果 write pos 追上 checkpoint，表示没有存储空间了，这时候不能再执行新的更新，需要把 checkpoint 推进一下。 有了 redo log，InnoDB 就可以保证即使数据库发生异常重启，之前提交的记录都不会丢失，这个能力称为crash-safe。
重要的日志模块：binlog
Server 层有自己的日志，称为 binlog（归档日志） redo log 是 InnoDB 引擎特有的；binlog 是 MySQL 的 Server 层实现的，所有引擎都可以使用。 redo log 是物理日志，记录的是“在某个数据页上做了什么修改”；binlog 是逻辑日志，记录的是这个语句的原始逻辑，比如“给 ID=2 这一行的 c 字段加 1 ”。 redo log 是循环写的，空间固定会用完；binlog 是可以追加写入的。“追加写”是指 binlog 文件写到一定大小后会切换到下一个，并不会覆盖以前的日志。
mysql> update T set c=c+1 where ID=2; 执行器和 InnoDB 引擎在执行这个简单的 update 语句时的内部流程 1.执行器先找引擎取 ID=2 这一行。ID 是主键，引擎直接用树搜索找到这一行。如果这一行在内存中，就直接返回给执行器；否则，需要先从磁盘读入内存，然后再返回。 2.执行器拿到引擎给的行数据，把这个值加上 1，比如原来是 N，现在就是 N+1，得到新的一行数据，再调用引擎接口写入这行新数据。 3.引擎将这行新数据更新到内存中，同时将这个更新操作记录到 redo log 里面，此时 redo log 处于 prepare 状态。然后告知执行器执行完成了，随时可以提交事务。 4.执行器生成这个操作的 binlog，并把 binlog 写入磁盘。 5.执行器调用引擎的提交事务接口，引擎把刚刚写入的 redo log 改成提交（commit）状态，更新完成。
redo log 的写入拆成了两个步骤：prepare 和 commit，这就是"两阶段提交":
先写 redo log 后写 binlog。假设在 redo log 写完，binlog 还没有写完的时候，MySQL 进程异常重启。redo log 写完之后，系统即使崩溃，仍然能够把数据恢复回来，所以恢复后这一行 c 的值是 1。 但是由于 binlog 没写完就 crash 了，这时候 binlog 里面就没有记录这个语句。 如果需要用这个 binlog 来恢复临时库的话，由于这个语句的 binlog 丢失，这个临时库就会少了这一次更新，恢复出来的这一行 c 的值就是 0，与原库的值不同。 先写 binlog 后写 redo log。如果在 binlog 写完之后 crash，由于 redo log 还没写，崩溃恢复以后这个事务无效，所以这一行 c 的值是 0。但是 binlog 里面已经记录了“把 c 从 0 改成 1”这个日志。所以，在之后用 binlog 来恢复的时候就多了一个事务出来，恢复出来的这一行 c 的值就是 1，与原库的值不同。
当需要恢复到指定的某一秒时: 首先，找到最近的一次全量备份，如果你运气好，可能就是昨天晚上的一个备份，从这个备份恢复到临时库； 然后，从备份的时间点开始，将备份的 binlog 依次取出来，重放到中午误删表之前的那个时刻。 这样你的临时库就跟误删之前的线上库一样了，然后你可以把表数据从临时库取出来，按需要恢复到线上库去。
Server 层包括连接器、查询缓存、分析器、优化器、执行器等，涵盖 MySQL 的大多数核心服务功能，以及所有的内置函数（如日期、时间、数学和加密函数等），所有跨存储引擎的功能都在这一层实现，比如存储过程、触发器、视图等。
存储引擎层负责数据的存储和提取。其架构模式是插件式的，支持 InnoDB、MyISAM、Memory 等多个存储引擎。 MySQL 5.5.5 开始Innodb是默认引擎
连接器 完成经典的 TCP 握手后，连接器验证用户名和密码。通过后会到权限表里面查询权限判断，后续的查询都将依赖于此时读到的权限。所以修改权限后，要重新连接才会生效。
show processlist 可以查看当前服务端连接状态
长连接是指连接成功后，如果客户端持续有请求，则一直使用同一个连接。短连接则是指每次执行完很少的几次查询就断开连接，下次查询再重新建立一个。
MySQL 在执行过程中临时使用的内存是管理在连接对象里面的。这些资源会在连接断开的时候才释放。所以长链接长期不释放的话 会导致内存占用太大，被系统强行杀掉
应对方法是： 1.定期断开长连接。 比如连接查询使用多少次之后 释放连接。 2.MySQL 5.7 或更新版本，可以在每次执行一个比较大的操作后，通过执行 mysql_reset_connection 来重新初始化连接资源。这个过程不需要重连和重新做权限验证，但是会将连接恢复到刚刚创建完时的状态。
查询缓存 MySQL 拿到一个查询请求后，会先到查询缓存看看，之前执行过的语句及其结果可能会以 key-value 对的形式，被直接缓存在内存中。key 是查询的语句，value 是查询的结果。 如果语句不在查询缓存中，就会继续后面的执行阶段。执行完成后，执行结果会被存入查询缓存中。
大多数情况下不建议使用查询缓存： 1、查询缓存的失效非常频繁，只要有对一个表的更新，这个表上所有的查询缓存都会被清空。 2、很久不更新的静态表适合做缓存 ，比如，一个系统配置表，那这张表上的查询才适合使用查询缓存。 mysql> select SQL_CACHE * from T where ID=10； 可是显试指定是否需要缓存。 MySQL 8.0 版本直接将查询缓存的整块功能删掉了。
分析器 词法分析，语法分析，语义分析 类似于编译器识别当前sql
优化器 优化器是在表里面有多个索引的时候，决定使用哪个索引；或者在一个语句有多表关联（join）的时候，决定各个表的连接顺序等
执行器 执行语句。先判断一下你对这个表 T 有没有执行的权限，然后再调用存储引擎提供的接口进行相应的操作。