Skip to main content

Databend 开源周报第 75 期

Alt text

英文版移步:https://databend.rs/blog/2023-01-04-databend-weekly

Databend 是一款强大的云数仓。专为弹性和高效设计。自由且开源。即刻体验云服务:https://app.databend.cn

What's New

探索 Databend 本周新进展,遇到更贴近你心意的 Databend。

Features & Improvements ✨

Format

  • 实现 JSON 输出格式 (#9447)

Query

  • 检查连接参数 (#9437)
  • 新增 max_query_row_nums 设置 (#9406)

Storage

  • 为 hive catalog 实现 prewhere 支持 (#9427)
  • 为不同的 object reader 设计统一的 cache trait (#9436)
  • 为新 cache 增加更多观测指标 (#9445)

New Expression

  • 迁移 hash 函数到 functions-v2 (#9402)

Sqllogictest

  • 并行执行所有测试 (#9400)

Code Refactoring 🎉

Storage

  • CachedObject 实现 to_bytesfrom_bytes (#9439)
  • 重构 table-meta 和 parquet reader (#9434)
  • 将 fuse_snapshot 单元测试转化为 SQL 逻辑测试 (#9428)

Bug Fixes 🔧

Format

  • read_split 时使用 catch unwind 停止 panic 展开 (#9420)

User

  • 惰性加载 JWKS (#9446)

Planner

  • Stage URL 的路径应当以 / 结尾 (#9450)

What's On In Databend

请持续关注 Databend 的最新动态。

Databend 2022 年终总结

让我们回顾一下,看看 Databend 在 2022 年的表现。

  • 开源:新获得 2000 多颗 star,合并了超过 2400 多个 PR,解决 1900 余个问题。
  • 从 Data Warehouse 到 Lakehouse:全新设计,大量功能增强。
  • 更全面的测试:引入 SQL 逻辑测试,实现 SQLancer 全部三种方法,和 https://perf.databend.rs
  • 建立生态:更多的客户选择、信任并与 Databend 一起成长,包括快手科技和 SAP。
  • Databend Cloud:建立在 Databend 之上的下一代大数据分析平台,目前有两个可用区供大家试用。

祝大家新年快乐,并期待大家能够一起参与到 Databend 社区建设之中。

阅读以下材料以了解更多讯息:

Databend 2023 路线图

随着新一年的到来,Databend 团队也在积极规划 2023 年的路线图。

我们将继续打磨 Planner,并在数据缓存和查询结果缓存上下功夫。列表中还包括强化对 PB 级数据量的存储和查询的能力。

欢迎感兴趣的朋友试用一下 Databend 并加入对路线图的讨论。

阅读以下材料以了解更多讯息:

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

Profile-Guided Optimization (PGO)

PGO 的基本概念是收集关于一个程序典型的执行数据(例如,它可能会执行的哪些分支)然后使用该数据来进行如内联,机器码布局,寄存器分配等告知优化。

rustc 支持 profile-guided optimization (PGO) 。Databend 团队期待可以使用这一技术来提供优化的构建。

Issue 9387: Feature: Add PGO Support

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changelogs

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

ariesdevilBohuTANGdantengskydependabot[bot]everpcpcflaneur2020
ariesdevilBohuTANGdantengskydependabot[bot]everpcpcflaneur2020
hantmacleiyskymergify[bot]PsiACEsandfleesoyeric128
hantmacleiyskymergify[bot]PsiACEsandfleesoyeric128
sundy-liTCeasonXuanwoxudong963youngsofunzhang2014
sundy-liTCeasonXuanwoxudong963youngsofunzhang2014

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。