博客
Databend 开源周报第 98 期
Databend Labs6月 19, 2023
英文版移步:https://www.databend.com/blog/2023-06-18-databend-weekly
Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。
What's On In Databend
探索 Databend 本周新进展,遇到更贴近你心意的 Databend。
后台服务
Databend 的内置存储引擎
FuseTable
先前的实现需要使用不同的驱动,增加了基础设施的复杂性。而且必须部署和维护其他服务来触发驱动事件。为简化这一过程,我们实现了一个后台服务,允许 Databend 执行后台单次作业或以守护进程模式运行 cron 作业。这些作业可以根据条件触发自动压缩/清理/重聚类等表维护任务,而无需其他服务介入。
此实现包括:
- 完整的 metasrv 模式定义,以及后台作业与后台任务的设计实现。
- 用于在元服务上更新和维护后台作业与后台任务状态的 API。
- 支持 、
one_shot
、interval
等不同作业类型的作业调度器实现。cron
后台服务 需要升级至 企业版 。如需了解升级信息,请联系 Databend 团队 。
如果你想要了解更多信息,请查看下面列出的资源。
Code Corner
一起来探索 Databend 和周边生态中的代码片段或项目。
IceLake - Iceberg 的纯 Rust 实现
Iceberg 是为分析数据集设计的开放表格式标准。然而,目前 Rust 生态中缺乏成熟的 Iceberg 绑定,使其难以与像 Databend 这样的数据库系统集成。
IceLake 旨在填补这一空白,其致力于建立一个开放生态系统:
- 用户可以从 任何 存储服务(如 s3、gcs、azblob、hdfs 等)读写 Iceberg 表。
- 任何 数据库都可以集成 ,以支持读写 Iceberg 表。
icelake
- 提供原生的 格式互转换的能力。
arrow
- 提供多种语言绑定,使其他语言可以享有 Rust 核心带来的 Iceberg 生态支持。
如果你想要了解更多信息,请查看下面列出的资源。
Highlights
以下是一些值得注意的事件,也许您可以找到感兴趣的内容。
- 新增对 MERGE JOIN 的支持。
- 为 CSV 格式实现列位置支持。
- 阅读 Docs | Computed Columns 以了解如何使用计算列,以及在选择使用何种类型计算列时的一些考量。
- 阅读 Docs | Subquery-Based Deletions 以理解如何使用子查询和比较运算实现删除。
What's Up Next
我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。
为COPY INTO
支持 VALIDATION_MODE
COPY INTO
VALIDATION_MODE
我们希望为 Databend 的
COPY INTO
VALIDATION_MODE
RETURN_ERRORS