Skip to main content

Databend 开源周报第 78 期

Alt text

英文版移步:https://databend.rs/blog/2023-01-25-databend-weekly

Databend 是一款强大的云数仓。专为弹性和高效设计。自由且开源。即刻体验云服务:https://app.databend.cn

What's New

探索 Databend 本周新进展,遇到更贴近你心意的 Databend。

Features & Improvements ✨

SQL

  • 消除多余的 group by 标量 (#9708)

Query

  • 支持对 insert/delete/optimize 行为进行权限检查 (#9664)
  • 启用空投影 (#9675)
  • 在最终聚合阶段增加聚合限制 (#9716)
  • create/alter view 语句中支持可选列名 (#9715)

Storage

  • 为原生存储格式增加 prewhere 支持 (#9600)

Code Refactoring 🎉

IO

  • 将 io 相关的常量移动到 common/io (#9700)
  • 重构 fuse/io/read (#9711)

Planner

  • Scalar 重命名为 ScalarExpr (#9665)

Storage

  • 重构缓存层 (#9672)
  • pruner.rs -> fuse_bloom_pruner.rs (#9710)
  • 将 pruner 从分层改成链式 (#9714)

Build/Testing/CI Infra Changes 🔌

  • 支持为 Docker 映像设置 minio 存储以及外置 s3 存储 (#9676)

Bug Fixes 🔧

Expression

  • 修复 simple_cast (#9671)

Query

  • 修复 efficiently_memory_final_aggregator 结果不稳定的问题 (#9685)
  • 修复 max_result_rows 只对输出结果数进行限制的问题 (#9661)
  • 修复 two level aggregator 可能会导致查询挂起的问题 (#9694)

Storage

  • 如果没有根据 output schema 排序,则可能获得错误的 datablocks (#9470)
  • bloom filter 使用了不正确的 cache key (#9706)

What's On In Databend

请持续关注 Databend 的最新动态。

Databend 多合一 Docker 映像

Databend Docker 映像现在支持设置 MinIO 存储和配置外置 AWS S3 存储。

现在你可以轻松使用该映像达成与 Databend 的初体验。

运行,使用 MinIO 存储后端

docker run \
-p 8000:8000 \
-p 9000:9000 \
-e MINIO_ENABLED=true \
datafuselabs/databend

运行,使用自定义配置

docker run \
-p 8000:8000 \
-e DATABEND_QUERY_CONFIG_FILE=/etc/databend/mine.toml \
-v query_config_file:/etc/databend/mine.toml \
datafuselabs/databend

阅读下述材料以了解更多讯息

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

向量搜索

向量搜索(Vector Search)可以捕获非结构化数据的含义和上下文,通常用于文本和图像的处理,允许通过语义来检索相似结果,并且往往能够比传统的关键字检索取得更好的效果。

Databend 计划支持向量搜索,为用户提供更丰富和高效的查询手段,初步的解决方案可能包括集成 Faiss Index。

Issue 9699: feat: vector search (Faiss index)

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changelogs

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

andylokandyariesdevilb41shBohuTANGdantengskydependabot[bot]
andylokandyariesdevilb41shBohuTANGdantengskydependabot[bot]
everpcpcflaneur2020johnhaxx7leiyskymergify[bot]PsiACE
everpcpcflaneur2020johnhaxx7leiyskymergify[bot]PsiACE
RinChanNOWWWsandfleesundy-lixudong963zhang2014zhyass
RinChanNOWWWsandfleesundy-lixudong963zhang2014zhyass

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。