Databend Cloud 公有云 + 客户私有化部署的 Databend，所有数据都在客户自己的环境中，利用公有云解决查询资源的弹性，实现了混合云部署，也达到了降本增效目的。

今年是 Databend 社区第二次参与开源之夏活动，很高兴能够在活动中遇到富有热情和智慧的同学们。在开源之夏 2023 活动中，Databend 社区共发布两个项目：一个顺利结项，并在开源之夏结业项目中进行展示； 另一个项目未能按照时间计划推进相关工作，项目经由社区接手完成。

Databend 的 Storage 模块主要实现 Table 接口的方法，其中 Fuse 引擎部分尤为关键。通过对数据的并行处理，以及数据剪裁等手段，可以有效地提高数据的处理效率。本文聚焦于读取分区的流程，并对 Storage 涉及的各个模块进行了简单阐述。

Databend Cloud 为一家 AIGC 初创公司的用户行为日志降低了 100 倍的分析成本，提供了一个易于使用、高效和经济实惠的大数据解决方案，利用 JSON 支持以及与可视化工具的集成等功能。

在数字化转型的关键时期，海外某电信选择与 Databend 携手合作，为全球电信行业提供了一个成功的数字化转型合作范例。

Join order 是指在执行SQL查询时，决定多个表进行 join 的顺序。它是数据库查询优化的一个重要方面，对查询性能和效率有着重要的影响， 不同的 join order 对性能可能有数量级的影响。

Kafka Connect 是一个用于在 Apache Kafka® 和其他数据系统之间可扩展且可靠地流式传输数据的工具。通过将数据移入和移出 Kafka 进行标准化，使得快速定义连接器以在 Kafka 中传输大型数据集变得简单，可以更轻松地构建大规模的实时数据管道。

了解如何将数据导入具有额外列的表。此外，Databend 为 ParquetReader 设计了一些读策略以重用数据块。

对于 Databend 这样复杂的数据库服务端程序，往往需要支持大量的可配置选项，以帮助运维人员根据实际使用需要管理和调优系统。Databend 目前支持三种配置方式：命令行、环境变量和配置文件，优先级依次递减。

了解如何使用用户自定义函数。此外，Databend 最近使用 Prometheus 替换 metrics-rs 以改善可观测性。

传统数仓在扩展性、成本和管理等方面具有局限性。在本次分享中，我们将介绍一种新型的 Serverless 数仓技术，这种技术不仅能够解决传统数仓的痛点，还能显著提升性能并降低成本。此外，我们还将讨论 Serverless 数仓所面临的技术挑战。

在使用 Databend 加速 Hive 查询的架构中，用户使用 trino 、Spark 等引擎将数据纳入 Hive 进行管理，数据的存放位置则位于 S3 、GCS 、HDFS 等存储服务之中，引入 Databend 可以带来更好的查询性能。

本次分享聚焦于数据库和 AI 领域，从跨云数据访问和向量数据库的现实需求谈起，阐述为什么 Rust 是适合于新时代基础设施的编程语言，并分析 Rust 在新时代基础设施下的新机遇。

了解 Databend 数据共享中的 SHARE ENDPOINT 。此外，Databend 现在支持 UDF Server 以提供更灵活和实用的函数自定义能力。

目前开发者们需要尝鲜 Databend， 可以选择使用 Databend Cloud 或者按官方文档部署 Databend 服务。 由于 Databend 架构有三层，因此部署Databend 服务一般需要启动 `databend-query`, `databend-meta` , `minio` 三个进程，同时需要修改端口等配置项，流程上略显复杂。 有没有更快的方式可以快速尝鲜 Databend 呢？

了解如何使用 BendSQL 管理 Stage 中的文件，以及在 Jupyter Notebook 中使用 Databend Python Binding 。

了解如何使用 Cluster Key 优化查询性能。此外，Databend 最近推出 Local 模式，无需复杂部署即可快速体验。

Databend Cluster Key 是指 Databend 可以按声明的 key 排序存储，主要用于用户对时间响应比较高，同时愿意为这个 cluster key 进行额排序操作的用户。 Databend 只支持一个 Cluster key，Cluster key中可以包含多列及表达式。

本周多源数据目录能力得到进一步完善，此外，还新增了使用 cargo-pgo 进行编译优化的文档。

大参林医药集团股份有限公司成立于 1999 年，是中国具有影响力的药品零售连锁集团化企业。目前使用 Databend，对大表数据的查询加载速度提升2倍；腾讯云 COS 存储成本相对于 CDH 本地盘及副本模式成本下下降 15 倍左右；且性能满足日常的数据审计查询需求。

Databend 现已支持为 Hive Catalog 配置后端存储，此外，还更新了关于连接参数的文档。

Databend 新增数据脱敏能力。通过设定脱敏策略（Masking Policy），可以控制敏感数据的显示或访问方式，从而在允许授权用户与数据交互的同时保护机密性。

Debezium Server Databend 是一个基于 Debezium Engine 自研的轻量级 CDC 项目，用于实时捕获数据库更改并将其作为事件流传递最终将数据写入目标数据库 Databend。这篇教程将展示如何基于 Debezium server databend 快速构建 MySQL 到 Databend 的实时数据同步。

探索最新的数据载入工具文档，了解如何利用 Kafka 和 dbt 同步数据。

Databend 最近几个月正在推动的重要新特性之一就是支持读取 Apache Iceberg 表格式的数据。今天这篇文章旨在为大家提前演示这一新特性 —— 使用 Databend 挂载并查询 Iceberg Catalog 。

多点DMALL 是一站式全渠道数字零售解决方案服务商，数字化解构重构零售产业，提供端到端的商业 SaaS 解决方案。本文介绍了 Databend 在 多点Dmall 在海量日志计算查询场景中的应用。

本周 Databend 支持创建网络策略以管理服务网络配置。通过剖析表扫描时间，开发人员可以洞察从存储中读取数据所花费的时间。

本期介绍了为指定列创建 Bloom Index 的新特性，以及 Databend 支持的 SQL 语法与 SQL 标准之间的细微区别。

本期更新两篇关于创建 External Stage 的教程，以及介绍了新系统表：system.backtrace 。

Databend v1.2.0 已于 2023 年 6 月 29 日正式发布！以及 Databend 新近引入长期运行测试方案，旨在验证系统在重负载和高并发下的性能和正确性。

各位社区小伙伴们，Databend 于 2023 年 6 月 29 日迎来了 v1.2.0 版本的正式发布！

本周 Databend 新增对 Apache Flink CDC 支持，本期的编程角介绍了如何在 Databend 的 Python 绑定中注册外部表。

本周新增对后台服务的支持，本期的编程角介绍了 IceLake 项目及其愿景。

本周新增对后台服务的支持，本期的编程角介绍了 IceLake 项目及其愿景。

本周新增对列位置的支持，本期的编程角介绍了 Databend 的拼写检查工作流。

本周新增对虚拟列的支持，另外，Databend 现在提供交互式文档体验，感兴趣可以访问 databend.rs 体验。

本周 Databend 新增腾讯云 COS 原生支持，还实现了 IEJoin 算法。另外，Rust Driver 的 Python Binding 也正在积极推进中，目标是替代现有的 databend-py 。

本论文提出了组级学习，在适应工作负载和缓存大小的同时，积累更强的信号进行学习，并将学习成本分摊到对象上，从而实现兼顾效益和性能的生产级缓存。

本周 Databend 新增对计算列的支持，另外，VACUUM TABLE 可以从表中永久删除历史数据文件来释放存储空间，有助于优化系统性能。

本周 Databend 的 Segment Cache 得到了显著升级，其内存使用量降低到测试场景中先前使用量的 1.5/1000 。同时，Databend 还发布 Python 绑定，可与数据科学工作流无缝集成。

Databend 现在支持在 WHERE 子句中使用列别名。databend-metactl 工具将会与 Databend 共同发布，无需手动编译。

系统表是 Databend 存放结构元数据的地方，比如表和字段以及内部记录的一些信息。这篇文件将会简要介绍 Databend 的系统表的实现和测试。

Databend 新增 BITMAP 数据类型，并为优化 Hash Join 性能设计和实现了特化的哈希表。

Databend 新增 BITMAP 数据类型，并为优化 Hash Join 性能设计和实现了特化的哈希表。

Databend 的元数据文件版本更新至 v3，新元数据文件的体积可减少为原来的 1/20 ，并且性能提高 2 倍！

2023 年 4 月 20 日，Databend Cloud 经历了近两年的打磨终于发布了！🎉此次发布会由北京数变科技有限公司【Databend Labs】联合阿里云共同举办。Databend Cloud 借助于云原生数仓 Databend 实现了云简单易用的大数据分析场景。

本文介绍了天空计算的概念和背景，以及 Databend 的跨云数据存储和访问。欢迎部署 Databend 或者访问 Databend Cloud ，即刻探索天空计算的无尽魅力。

Databend v1.1 正式发布！添加了新的 AI 相关配置，允许使用不同的端点和模型。

本文根据 4 月 16 日在 Rust 中文社群的分享整理而来。介绍了 Databend 在 Rust 编译时间优化上做的一些探索。

各位社区小伙伴们，Databend 于 2023 年 4 月 14 日迎来了 v1.1.0 版本的正式发布！这次新版本是 Databend 发布 1.0 版本之后的第一个大版本！

本文将介绍 Databend Cloud 架构的设计与取舍，以及各个组件的工作机制。希望本文能够帮助您更好地发挥云的优势，使云上数仓更廉价、更高效、更安全且更易用。

Databend 上线聚合窗口函数，增加函数名提示。本周有一位新贡献者加入！

Databend 上线使自然语言转换为查询语句的内置函数。FlightSQL Handler 的开发正在积极推进中。本周有一位新贡献者加入！

Databend 现在支持在将数据加载到表时进行数据转换。本周的编程角还介绍了并行运行多个 Future 的技巧。

2023 年 2 月 27 日，OpenDAL 项目顺利通过投票，正式进入全球顶级开源软件基金会 —— Apache 软件基金会（ASF）的孵化器（Incubator），成为 ASF 的一个孵化项目（podling）。在 3 月 15 日，OpenDAL 项目正式移交到 Apache 软件基金会名下。

Databend 新增 REPLACE INTO，并且起草新 RFC 期望为 COPY INTO 带来增量加载特性。本周有 2 位新贡献者加入！

本文介绍了如何使用 KubeSphere 创建和部署 Databend 高可用集群，后端存储服务采用 QingStor，最后使用 bendsql 演示连接集群和执行查询。

传统数仓在扩展性、成本和管理等方面具有局限性。在本次分享中，我们将介绍一种新型的 Serverless 数仓技术，这种技术不仅能够解决传统数仓的痛点，还能显著提升性能并降低成本。此外，我们还将讨论 Serverless 数仓所面临的技术挑战。

从 2021 年第一行 Rust 代码到今天 30 万行+，近 2 年时间终于发布 Databend v1.0 版本。

本篇文章展示利用 Grafana 连接 Databend 进行日志可视化展示

“经历近两年的打磨，Databend 终于要发 1.0 版本了！我们深知从零开始构建数据库是一段非常艰辛的历程。从两年前的第一行代码到现在的 30 万行 Rust 代码，记录了 Databenders 小伙伴们的不懈付出。”Rust + Cloud + 先进的技术架构，还有全球 150 多位开发者的贡献

Databend 提供了 MySQL 协议的兼容，但实质上和 MySQL 还有一定的区别。Databend 定位在基于对象存储实现一个真正的存算分离的弹性数仓。现在也在有很多朋友利用 Databend 做 MySQL 和 RDS MySQL 的归档存储分析。

Databend 上线表数据缓存和查询结果缓存，运行缓存友好型工作负载时，性能显著提高！另外 Databend 本周也发布官方 Deb 软件源并提供 systemd 服务管理支持。

Profile-guided optimization 会收集程序运行过程中的典型执行数据（可能执行的分支），然后进行针对优化。本文将会介绍如何利用 PGO 技术构建优化的 Databend 可执行文件。

阅读我们的新博客“使用 PGO 技术优化 Databend 构建”，以及学习如何创建和注册标量及聚合函数。

阅读我们的新博客“为什么你应该尝试 Sccache”，以及 Databend 最近新增大量数组函数，欢迎感兴趣的朋友尝鲜。

Aggregate Function 用于对列的值进行操作并返回单个值。常见的 Agg Function 有 sum, count, avg 等。

在 Databend 中按函数实现分为了：scalars 函数和 aggregates 函数。Scalar 函数基于输入值，返回单个值。常见的 Scalar function 有 now, round 等。

Databend 文档新增 UPDATE 用法，在 Databend 中 Insert、Delete 和 Update 都是原子操作。

利用 Addax + SQL 从数据库中抽取数据到 Databend

Databend 2023 开发规划

Databend Docker 映像现在支持设置 MinIO 存储和配置外置 AWS S3 存储。现在你可以轻松使用该映像达成与 Databend 的初体验。另外，Databend 还计划在今年支持向量搜索以提供更丰富的能力。

Databend 现在提供 meta 升级程序以辅助完成从 0.8 到 0.9 升级过程中的元数据迁移工作，另外 Nigntly v1.0 发布目标也在征集中。

Databend 于 2023 年 1 月 13 日迎来了 v0.9.0 版本的正式发布！这次新版本是 Databend 迈向 1.0 版本的最后一个大版本，也是迄今为止我们对核心代码重构幅度最大的一个版本！相较于 v0.8.0 版本，开发者们一共新增了 **5000** 多次 commit，共计**700**多个优化和修复，涉及**4347** 个文件变更，约**34w**行代码修改。感谢各位社区伙伴的参与，以及每一个让 Databend 变得更好的你！

本周 New Expression 的迁移顺利完工，为 Databend 换上更加强劲的核心引擎。

2023 年感觉每个团队都在面临降本增效，Databend / Databend Cloud 在降本增效方面正好有一些探索，后面分享给你。

本期特别发布 Databend 2022 年度总结以及 Databend 2023 年度路线图，感兴趣的朋友一定不要错过。

本文将会介绍 Databend 构建和运行的相关知识，欢迎小伙伴们尝鲜 New Expression 的强劲动力。

工欲善其事，必先利其器。在开启 Databend 贡献之旅前，一起来配置适合自己的开发环境吧。

回顾 2022 年 Databend 总结

Databend 在 minio 环境使用 copy 命令 | 新手篇（3）

本期引入 databend-local 受到 clickhouse-local 的启发，允许用户在不启动 Databend 集群的情况下对本地文件执行高效查询。

Databend 集群部署 | 新手篇（2）

基于 minio 部署单实例 Databend | 新手篇（1）

在 Databend Weekly 73 中使用 Rust 重新实现 SQL 逻辑测试程序，为 Databend 测试提速。

Databend 开源周报第 72 期

Databend 开源周报第 71 期

Databend 开源周报第 70 期

为 Databend 增加 SQLancer 支持

从 Kafka 导入数据

Usage 页面

Databend Cloud 中的图表

认识新 Warehouse