基于 TiDB binlog 的 Fast-PITR

通过对 TiDB 的增量备份文件进行预处理，将同一行数据的修改进行合并，生成一个新的更轻量的增量备份文件，从而大大缩短增量备份恢复的时间，实现 Fast-PITR（Fast Point in Time Recovery）。

方案

根据互联网特征和 2/8 原则，只有大约 20% 的数据被经常更新。对这一小部分数据的 binlog 数据进行合并可以得到一份非常轻量的差异备份，通过回放这部分少量的备份文件实现 Fast-PITR。如图所示：

实现

Map-Reduce 模型

由于需要将同一 key（PK/UK）的所有变更合并到一条 Event 中，需要在内存中维护这个 key 所在行的最新合并数据。如果 binlog 中包含大量不同的 key 的变更，则会占用大量的内存。因此设计了 Map-Reduce 模型来对 binlog 数据进行处理：

Map

将 binlog 数据按照库名+表名划分到不同的目录下，同时按照 key 的值 hash 到不同的文件中。这样同一行数据的变更都保存在同一文件下，且方便 Reduce 阶段的处理。

Reduce

分别对各个表的 binlog 数据进行处理，将同一 key 的数据变更合并到一个 Event 中。合并规则：

由于 Map 阶段将划分的 binlog 数据按照表来保存，因此在 Reduce 阶段很容易地实现了表级别的并发处理。

DDL 处理

Drainer 输出的 binlog 文件中只包含了各个列的数据，缺乏必要的表结构信息（PK/UK），因此需要获取初始的表结构信息，并且在处理到 DDL binlog 数据时更新表结构信息。DDL 的处理主要实现在 DDLHandle 结构中：

首先链接 PD 获取历史 DDL 信息，通过这些历史 DDL 获取 binlog 处理时的初始表结构信息，然后在处理到 DDL binlog 时更新表结构信息。

由于 DDL 的种类比较多，且语法比较复杂，无法在短时间内完成一个完善的 DDL 处理模块，因此使用 tidb-lite 将 mocktikv 模式的 TiDB 内置到程序中，将 DDL 执行到该 TiDB，再重新获取表结构信息。

使用

pitr 提供以下参数：

> ./bin/pitr --help
Usage of tidb-binlog-pitr:
  -L string
        log level: debug, info, warn, error, fatal (default "info")
  -V    print pitr version info
  -config string
        [REQUIRED] path to configuration file
  -data-dir string
        drainer data directory path
  -log-file string
        log file path
  -pd-urls string
        a comma separated list of PD endpoints
  -reserve-tmpdir
        reserve temp dir
  -start-datetime string
        recovery from start-datetime, empty string means starting from the beginning of the first file
  -start-tso int
        similar to start-datetime but in pd-server tso format
  -stop-datetime string
        recovery end in stop-datetime, empty string means never end.
  -stop-tso int
        similar to stop-datetime, but in pd-server tso format

运行 pitr：

./bin/pitr --data-dir data.drainer