ByteHTAP: ByteDance’s HTAP System with High Data Freshness and Strong Data Consistency

[mrdrivingduck]

p3411-chen.pdf

字节跳动根据其商业场景而设计的 HTAP 产品：

• 支持 PB 级别数据规模
• 实时性接近分别使用 OLTP / OLAP
• 秒级数据新鲜度
• 数据强一致

[mrdrivingduck]

Architecture

OLTP 引擎

使用 ByteNDB，是一个计算与存储分离，一写多读共享存储的架构，类似 Aurora。

存储上分为 Page Store 和 Log Store，合并起来就是正确版本的数据。

HTAP 引擎

使用引擎分离、共享存储的架构设计。通过统一的 API，经过一个智能代理，把请求分流到 OLTP 或 OLAP 引擎上。这样可以避免 OLTP 和 OLAP 的互相干扰。OLTP 的 DML 操作产生的逻辑日志会被不断地发送到列式存储上。列式存储使用内存增量存储 + 持久化基本存储。

不支持事务内 DML + OLAP 只读查询。

[mrdrivingduck]

一些产品功能

1. 允许已有的 ByteNDB 无缝升级
2. 支持多个 OLTP 数据库同步到同一个 OLAP 引擎，实现跨库分析
3. 高效的数据迁移
4. OLAP 引擎加强