Databend 开源周报第 97 期

英文版移步：https://www.databend.com/blog/2023-06-11-databend-weekly

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。

What's On In Databend

探索 Databend 本周新进展，遇到更贴近你心意的 Databend。

列位置

Databend 现在支持

$N

$2

CREATE TABLE IF NOT EXISTS t1(a int, b varchar);
INSERT INTO t1 values (1, 'a'), (2, 'b');
select $1, $2, a, b from t1;

┌─────────────────────────────────┐
│   $1  │   $2   │   a   │    b   │
│ Int32 │ String │ Int32 │ String │
├───────┼────────┼───────┼────────┤
│     1 │ a      │     1 │ a      │
│     2 │ b      │     2 │ b      │
└─────────────────────────────────┘

我们正在为

SELECT FROM @stage

SELECT $1 FROM @my_stage (FILE_FORMAT=>'ndjson')

COPY INTO my_table FROM (SELECT $1 SELECT @my_stage t) FILE_FORMAT = (type = NDJSON)

需要注意的是，在 Databend 中使用 SELECT 语句处理 NDJSON 格式文件时，只允许使用

$1

-- Select the entire row using column position:
SELECT $1 FROM @my_stage (FILE_FORMAT=>'ndjson')

--Select a specific field named "a" using column position:
SELECT $1:a FROM @my_stage (FILE_FORMAT=>'ndjson')

如果你想要了解更多信息，请查看下面列出的资源。

• Issue | Feature: support <col_position>
• Issue | Feature: copy/select from stage by pos
• PR | feat: support column position like $N
• PR | feat: select from stage support NDJson

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

了解 Databend 的持续集成工作流 - 拼写检查

Databend 现在有一组非常复杂的持续集成工作流，用于代码审计、测试、benchmark 和发布。拼写检查无疑是其中最简单的部分。

与其他工作流一样，我们使用

actions/checkout

- uses: actions/checkout@v4
  with:
    clean: 'true'

typos-cli

- uses: baptiste0928/cargo-install@v1
  with:
    crate: typos-cli
    args: --locked
    cache-key: typos-check

使用

baptiste0928/cargo-install

cargo install

- name: do typos check with typos-cli
  run: typos

需要注意的是，虽然 crate 的名字是

typos-cli

typos

如果你想要了解更多信息，请查看下面列出的资源。

• Workflows | typos.yml

亮点

以下是一些值得注意的事件，也许您可以找到感兴趣的内容。

• 支持分布式 Top-N.
• 默认启用

  lazy_topn_threshold
  
  ，并设置默认阈值为 1000。
• 为保障安全性，root 用户可以变更密码。
• 阅读 Blog | Databend X Tableau 了解如何使用 Tableau 连接 Databend 进行 BI 数据分析。
• 阅读 Docs | Integrating Databend as a Sink for Vector 和 Docs | Analyzing Nginx Access Logs with Databend 理解如何集成 Vector 和 Databend。

What's Up Next

我们始终对前沿技术和创新理念持开放态度，欢迎您加入社区，为 Databend 注入活力。

在 REST API 中添加去重标签字段

为了确保数据摄取是幂等操作，Databend 使用去重标签来支持 DML 的去重。你可以在 Docs | Setting Commands - SET_VAR 中找到关于此功能的更多信息。

为了方便跨语言驱动程序集成，我们可以在 REST API 中添加去重标签字段。

Issue #11710 | Feature: support to bring deduplication label on stage attachment api

如果你对这个主题感兴趣，可以尝试解决其中的部分问题或者参与讨论和 PR review。或者，你可以点击 https://link.databend.com/i-m-feeling-lucky 来挑选一个随机问题，祝好运！

Changelog

前往查看 Databend 每日构建的变更日志，以了解开发的最新动态。

地址：https://github.com/datafuselabs/databend/releases