博客

TOP 性能，极速体验！Databend v1.0 前瞻

sundy-li3月 3, 2023

经历近两年的打磨，Databend 终于要发 1.0 版本了！我们深知从零开始构建数据库是一段非常艰辛的历程。从两年前的第一行代码到现在的 30 万行 Rust 代码，记录了 Databenders 小伙伴们的不懈付出。

许多人都非常关注我们是如何从零开始构建数据库的。相比于其他基于成熟底层技术栈的数据库产品，我们的性能表现如何？今天我们来基于最新版本来测试体验下 Databend 的优秀性能。

考虑到市场上已经有很多优秀的 OLAP 数据库，我们希望使用一个公开的标准来衡量 Databend 的性能，而不是自己建立测试标准。因此，我们选择了 ClickBench[1]，这是由 ClickHouse 发起的分析型数据库性能测试排行榜，测试数据集为 hits，来自生产环境，使用 clickhouse-obfuscator 工具进行了混淆处理，覆盖了常见的多维报表查询，能够真实地反映各类数据库在生产环境下的性能比较。这个排行榜收录了 Snowflake、Doris、ClickHouse、MySQL、Greenplum、DuckDB 等 50 个主流数据库的测试结果。

评测方式是在特定的机型下，将近 70G 的原始数据导入到数据库中，并对比数据的导入时间。接着，对 43 个查询 SQL 进行测试，在每次执行 SQL 之前清空内存缓存，然后重复执行三次，并记录三次执行中耗时最短的一次。ClickBench 考察的是数据库在所有测试场景下的总体表现，因此会将所有数据库在所有场景的评分结果进行对比计算，得出总排名。

为了展现 Databend 的真实性能，我们没有针对测试场景进行特别优化：

全部使用默认配置，不进行任何参数调优
不对数据进行特定字段分区导入，使用默认建表语句
不对原始数据进行 Cache，也不对查询结果进行 Cache，只 Cache 元数据和索引

我们提交了最常见的三种机型的测试结果：

c6a.metal, 500gb gp2 (192core)
c6a.4xlarge, 500gb gp2 (16core)
c5.4xlarge, 500gb gp2 (16core)

1 导入性能，三个机型下均排行第一

特别是在 c6a.metal 机型上，我们的导入性能仅需要 70 秒。与其他数据库的性能表现相比，可以看到 Databend 的导入性能有巨大的优势。这主要得益于 Databend 在向量化并行导入下的极致优化，以及 pipeline 在计算和 io 之间的优秀调度能力。

此外，我们的底层 Storage Access 模块都基于 OpenDAL[2] ，它具有简洁的 API 设计，同时不失原生 API 的性能，覆盖了 s3、fs、memory、ftp、azblob、ipfs 等十多种后端存储。许多优秀的 Rust 项目，如 RisingWave、Greptimedb、Sscache 等，都采用了 OpenDAL 作为底层 IO 模块。目前，OpenDAL 即将进入 Apache 孵化器，旨在打造云原生的统一存储底座。

2 查询性能，三个机型下各居一二三

在 hot run 查询下，Databend 在 c6a.4xlarge 上表现出色，排名第一；在 c5.4xlarge 微弱劣势居第二，c6a.metal 居第三。

得益于 Databend 新的表达式系统设计[3]，所有的算子都已经实现了向量化，并且我们所有的算子都有基于 Domain 值域推导能力。基于此，我们可以应用强大的常量折叠框架来做数据多级裁剪，尽可能略过不必要的数据块。此外，pipeline 的调度能力以及聚合算子的功能也再次加强，使得 CPU 和 IO 能够高效调度，从而发挥极致性能。

Databend 是面向对象存储而设计的新一代云原生数仓，并没有对本地 fs 场景做太多优化，在上面榜单中，前三的差距其实并不是很大。因此，在不太擅长的场景中，结合高性能的计算能力，Databend 也可以取得不错的优势。

由于 Databend 使用了默认配置，禁用了 DataCache，因此，在 cold run 场景下，对比意义不大。我们也可以对建表语句做一些针对性的优化（例如，按 UserID 分区导入，优化 Q17 等按 UserId 聚合场景），或者加入一些参数调优，这样性能估计还能再提升一个档次，但面向 Benchmark 调优并不是这次测试的主要意义，以用户为中心，在通用场景带给用户极致的性能、易用的产品体验才是我们的终极目标。

做 Benchmark 主要为了让我们有个衡量性能的方式，从而提升产品质量，ClickBench 测试非常具有代表意义，所以我们将 ClickBench 集成到了各个版本和 PR 的性能测试 CI 中[4]，方便开发者观测性能回退和提升，优化产品开发。