博客

Databend 开源周报第 78 期

avatarDatabend Labs1月 30, 2023

英文版移步:https://www.databend.com/blog/2023-01-25-databend-weekly

Databend 是一款强大的云数仓。专为弹性和高效设计。自由且开源。即刻体验云服务:https://app.databend.cn

What's New

探索 Databend 本周新进展,遇到更贴近你心意的 Databend。

Features & Improvements

SQL

  • 消除多余的 group by 标量 (#9708)

Query

  • 支持对 insert/delete/optimize 行为进行权限检查 (#9664)
  • 启用空投影 (#9675)
  • 在最终聚合阶段增加聚合限制 (#9716)
  • create/alter view 语句中支持可选列名 (#9715)

Storage

  • 为原生存储格式增加 prewhere 支持 (#9600)

Code Refactoring 🎉

IO

  • 将 io 相关的常量移动到
    common/io
    (#9700)
  • 重构
    fuse/io/read
    (#9711)

Planner

  • Scalar
    重命名为
    ScalarExpr
    (#9665)

Storage

  • 重构缓存层 (#9672)
  • pruner.rs
    ->
    fuse_bloom_pruner.rs
    (#9710)
  • 将 pruner 从分层改成链式 (#9714)

Build/Testing/CI Infra Changes 🔌

  • 支持为 Docker 映像设置 minio 存储以及外置 s3 存储 (#9676)

Bug Fixes 🔧

Expression

  • 修复
    simple_cast
    (#9671)

Query

  • 修复
    efficiently_memory_final_aggregator
    结果不稳定的问题 (#9685)
  • 修复
    max_result_rows
    只对输出结果数进行限制的问题 (#9661)
  • 修复 two level aggregator 可能会导致查询挂起的问题 (#9694)

Storage

  • 如果没有根据 output schema 排序,则可能获得错误的 datablocks (#9470)
  • bloom filter 使用了不正确的 cache key (#9706)

What's On In Databend

请持续关注 Databend 的最新动态。

Databend 多合一 Docker 映像

Databend Docker 映像现在支持设置 MinIO 存储和配置外置 AWS S3 存储。

现在你可以轻松使用该映像达成与 Databend 的初体验。

运行,使用 MinIO 存储后端

docker run \
-p 8000:8000 \
-p 9000:9000 \
-e MINIO_ENABLED=true \
databendlabs/databend

运行,使用自定义配置

docker run \
-p 8000:8000 \
-e DATABEND_QUERY_CONFIG_FILE=/etc/databend/mine.toml \
-v query_config_file:/etc/databend/mine.toml \
databendlabs/databend

阅读下述材料以了解更多讯息

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

向量搜索

向量搜索(Vector Search)可以捕获非结构化数据的含义和上下文,通常用于文本和图像的处理,允许通过语义来检索相似结果,并且往往能够比传统的关键字检索取得更好的效果。

Databend 计划支持向量搜索,为用户提供更丰富和高效的查询手段,初步的解决方案可能包括集成 Faiss Index。

Issue 9699: feat: vector search (Faiss index)

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review。或者,你可以点击 https://link.databend.com/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changelogs

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/databendlabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

andylokandyariesdevilb41shBohuTANGdantengskydependabot[bot]
andylokandyariesdevilb41shBohuTANGdantengskydependabot[bot]
everpcpcflaneur2020johnhaxx7leiyskymergify[bot]PsiACE
everpcpcflaneur2020johnhaxx7leiyskymergify[bot]PsiACE
RinChanNOWWWsandfleesundy-lixudong963zhang2014zhyass
RinChanNOWWWsandfleesundy-lixudong963zhang2014zhyass

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

分享本篇文章

订阅我们的新闻简报

及时了解功能发布、产品规划、支持服务和云服务的最新信息!