开源之夏 2023 | Databend 社区项目总结与分享

开源之夏是由中科院软件所“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动，旨在鼓励在校学生积极参与开源软件的开发维护，培养和发掘更多优秀的开发者，促进优秀开源软件社区的蓬勃发展，助力开源软件供应链建设。

官方网站 https://summer-ospp.ac.cn

在开源之夏 2023 活动中，Databend 社区共发布两个项目，一个顺利结项，并在开源之夏结业项目中进行展示，可以访问 开源之夏 2023 - 结项公示 查看。

另一个项目未能按照时间计划推进相关工作，项目经由社区接手完成。

项目 1：实现 Databend UDF Server

该项目的主要目标是实现一个 Databend UDF Server，允许用户创建、删除和执行 UDF。

• 撰写 UDF Server 的 RFC。
• 实现一个 MVP，提供创建、删除和执行 UDF 的功能，并编写相关测试。
• 使用 Python 或其他语言创建示例。

项目状态： 顺利结项

学生姓名： 陈传乐

跟踪问题： https://github.com/datafuselabs/databend/issues/12177

对应提交： https://github.com/datafuselabs/databend/pull/12729

相关介绍： 通过结合 Apache Arrow Flight API 实现 UDF Server，用户可以使用自己喜爱的编程语言，来与 Databend 交互，从而拓展数据库的边界，实现更丰富和高效的数据工作流。文档位于：External Function | Databend 。

经过进一步研发迭代，目前 databend-udf 已经发布 Python SDK 至 PyPI，下面是一个使用 UDF 机制实现计算最大公约数的示例：

from databend_udf import *

@udf(
    input_types=["INT", "INT"],
    result_type="INT",
    skip_null=True,
)
def gcd(x: int, y: int) -> int:
    while y != 0:
        (x, y) = (y, x % y)
    return x

if __name__ == '__main__':
    # create an external server listening at '0.0.0.0:8815'
    server = UDFServer("0.0.0.0:8815")
    # add defined functions
    server.add_function(gcd)
    # start the external server
    server.serve()

项目 2：使用 Prometheus 重构 Databend 的 Metrics 组件

使用 Prometheus（一个开源系统监控和警报工具包）重构 Databend 的 Metrics 组件。

另外，本项目需要开发一个基于 Prometheus 的 macro 框架，以简化添加新 Metrics 的过程。

项目状态： 由社区接手完成。

跟踪问题： https://github.com/datafuselabs/databend/issues/12635

对应提交： https://github.com/datafuselabs/databend/pull/12787

相关介绍： metrics-rs 为不同的可观测性方案构建了一个通用的抽象层，支持包括 statsd、prometheus、new-relic 等在内的多种工具，但是 metrics-rs 无法很好地支持直方图统计之类的指标。

如今，Prometheus 已成为可观测性领域的事实标准，使用原始的 Prometheus 客户端，而不是将指标推送给其他工具，会带来一些显而易见的好处：

• 更好的性能：经过良好实现的观测指标的内存分配应该是 O(1) ，无需本地缓冲队列。
• 减少抽象层：我们可以减少关于指标的抽象层，使代码路径更易于理解。
• 更好的编码规范：目前我们在不同模块中有不同的指标标准实践，可以学习 Prometheus 社区的指标标准实践来统一我们的指标标准实践。

现在，Databend 的可观测性指标已经完全迁移到 Prometheus 实现，在保持原有指标几乎不变的情况下，带来了更全面、更可靠的可观测性体验。

结语

今年是 Databend 社区第二次参与开源之夏活动，很高兴能够在活动中遇到富有热情和智慧的同学们。

感谢所有参与项目的学生和社区成员的辛勤工作和付出！Databend 因你们而变得更加优秀。希望这些项目能够启发更多人参与到开源软件的开发中，并促进开源社区的繁荣和创新。

如果你对 Databend 或其他开源项目感兴趣，欢迎加入相关社区，贡献自己的力量，共同推动开源软件的发展！祝愿大家能够在开源世界继续汲取养分，成长为技术大牛，继续引领开源浪潮。