Databend 开源周报第 112 期
Databend Labs9月 25, 2023
英文版移步:https://www.databend.com/blog/2023-09-24-databend-weekly
Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护 航。自由且开源。即刻体验云服务:https://app.databend.cn 。
What's On In Databend
探索 Databend 本周新进展,遇到更贴近你心意的 Databend。
理解用户自定义函数(UDF)
用户自定义函数(User-Defined Function,UDF)允许你的自定义操作与 Databend 进行集成,从而更好地处理数据、执行任务,构造更合理的数据工作流。
Databend 目前支持两种形式的用户自定义函数:使用 SQL lambda 表达式编写或者用 Python 等编程语言实现 UDF 服务器注册。用户自定义函数可以作为 Databend 查询处理流程的一部分执行。
使用 UDFs 的优点包括:
- 自定义数据转换。
- 优化性能。
- 改善代码可重用性。
如果您想了解更多信息,请查看下面列出的资源。
Code Corner
一起来探索 Databend 和周边生态中的代码片段或项目。
使用 Prometheus 改善可观测性
metrics-rs 为不同的可观测性方案构建了一个通用的抽象层,支持包括 statsd、prometheus、new-relic 等在内的多种工具,但是 metrics-rs 无法很好地支持直方图统计之类的度量。
如今,Prometheus 已成为可观测性领域的事实标准,使用原始的 Prometheus 客户端,而不是将指标推送给其他工具,会带来一些显而易见的好处:
- 更好的性能:经过良好实现的观测指标的内存分配应该是 O(1) ,无需本地缓冲队列。
- 减少抽象层:我们可以减少关于指标的抽象层,使代码路径更易于理解。
- 更好的编码规范:目前我们在不同模块中 有不同的度量标准实践,可以学习 Prometheus 社区的度量标准实践来统一我们的度量标准实践。
现在,Databend 的可观测性指标已经完全迁移到 Prometheus 实现,在保持原有指标几乎不变的情况下,带来了更全面、更可靠的可观测性体验。
如果您想了解更多信息,请查看下面列出的资源。
- PR #12787 | feat(observability): replace metrics-rs with prometheus-client
- Issue #12635 | Tracking: replace metrics-rs with prometheus-client-rs
- Issue #9422 | Feature: Refactoring Databend Metrics Component with Prometheus
Highlights
以下是一些值得注意的事件,也许您可以找到感兴趣的内容。
- 支持分布式执行。
COMPACT