Databend 开源周报第 110 期

英文版移步：https://www.databend.com/blog/2023-09-10-databend-weekly

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。

What's On In Databend

探索 Databend 本周新进展，遇到更贴近你心意的 Databend。

使用 BendSQL 管理 Stage 中的文件

Databend 推荐使用 PRESIGN 来将文件上传到 stage 中或者将文件下载到本地。PRESIGN 会生成一个带有时间限制的预签名 URL，提供了一种安全高效的数据传输方式，并且减少文件传输的延迟。

对于 BendSQL 客户端的用户而言，可以利用 PUT 命令将文件上传到 Stage 并使用 GET 命令下载 Stage 中的文件。

root@localhost:8000/default> PUT fs:///books.parquet @~

PUT fs:///books.parquet @~

┌───────────────────────────────────────────────┐
│                 file                │  status │
│                String               │  String │
├─────────────────────────────────────┼─────────┤
│ /books.parquet                       │ SUCCESS │
└───────────────────────────────────────────────┘

GET @~/ fs:///fromStage/

┌─────────────────────────────────────────────────────────┐
│                      file                     │  status │
│                     String                    │  String │
├───────────────────────────────────────────────┼─────────┤
│ /fromStage/books.parquet                      │ SUCCESS │
└─────────────────────────────────────────────────────────┘

如果您想了解更多信息，请查看下面列出的资源。

• Docs | Staging Files

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

在 Jupyter Notebook 中使用 Databend Python Binding

Databend 提供 Python Binding，无需部署 Databend 实例即可使用，DataFrame 也可以自由转换到 Polars 和 Pandas 格式，方便和数据科学工具集成使用。

只需要执行下面的命令安装即可：

pip install databend

下面的程序展示了如何在 Jupyter Notebook 中使用 Databend Python Binding，并利用 matplotlib 绘制条形图。

# Create a table in DataBend
ctx.sql("CREATE TABLE IF NOT EXISTS user (created_at Date, count Int32)")

# Create a table in DataBend
ctx.sql("CREATE TABLE IF NOT EXISTS user (created_at Date, count Int32)")

# Insert multiple rows of data into the table
ctx.sql("INSERT INTO user VALUES ('2022-04-01', 5), ('2022-04-01', 3), ('2022-04-03', 4), ('2022-04-03', 1), ('2022-04-04', 10)")

# Execute a query
result = ctx.sql("SELECT created_at as date, count(*) as count FROM user GROUP BY created_at")

# Display the query result
result.show()

# Import libraries for data visualization
import matplotlib.pyplot as plt

# Convert the query result to a Pandas DataFrame
df = result.to_pandas()

# Create a bar chart to visualize the data
df.plot.bar(x='date', y='count')
plt.show()

如果您想了解更多信息，请查看下面列出的资源。

• Docs | Tutorial-3: Integrate with Jupyter Notebook with Python Binding Library

Highlights

以下是一些值得注意的事件，也许您可以找到感兴趣的内容。

• 实现对所有权模型的初步支持
• Hash Join 支持溢出（spill）
• Databend 中的列现在默认支持空值，阅读文档 Docs | NULL Values and NOT NULL Constraint 了解详细情况。
• 阅读文档 Docs | databend-local 掌握 Databend Local 模式。

What's Up Next

我们始终对前沿技术和创新理念持开放态度，欢迎您加入社区，为 Databend 注入活力。

支持使用 JavaScript 创建 UDF

PR #12729 | feat: implement udf server in databend 预计会在本周进行合并。这意味着 Databend 即将支持使用 Python 创建用户自定义函数。

CREATE FUNCTION [IF NOT EXISTS] <udf_name> (<arg_type>, ...) RETURNS <return_type> LANGUAGE <language> HANDLER=<handler> ADDRESS=<udf_server_address>

我们期望在这个 PR 的基础上提供对多种语言 UDF 的支持，JavaScript 可能是值得尝试的选项之一。

Issue #12746 | Feature: support javascript udf

如果你对这个主题感兴趣，可以尝试解决其中的部分问题或者参与讨论和 PR review。或者，你可以点击 https://link.databend.com/i-m-feeling-lucky 来挑选一个随机问题，祝好运！

Changelog

前往查看 Databend 每日构建的变更日志，以了解开发的最新动态。

地址：https://github.com/datafuselabs/databend/releases