Databend 十月月报：存储过程正式可用，数据流程全面自动化

Hi，Databend 的朋友们！🚀

十月，我们专注于生产自动化的落地。存储过程正式可用并移除了实验性标记，SQL 脚本引擎支持 dynamic schema introspection，能够处理复杂的 ETL 流程。同时，我们发布了 JSON 全文检索的 inverted index、智能内存溢出控制，并全面升级了运维工具——本月共发布了十一个版本。

月度数据

22 个新功能，19 个 bug 修复，15 项重构，12 项维护更新。

本月亮点

🔥 核心新功能

• 存储过程正式可用 —— 支持 dynamic schema introspection，移除实验性标记，内置完整的脚本能力
• ANY JOIN 操作 —— INNER/LEFT/RIGHT ANY JOIN，高效的集合成员检查和半连接模式
• JSON 全文搜索 —— inverted index 支持 Variant 内部字段扫描，半结构化数据的快速文本搜索
• COPY 历史追踪 —— 新增 copy_history 系统表，记录所有 COPY 操作的完整历史
• Vacuum 保护 —— 不可逆的 DROP 操作需要明确确认，防止误删数据
• 数学函数扩展 —— 新增 isnan() 和 isinf() 函数，用于 IEEE 754 浮点数验证

⚡ 性能与运维

• 智能内存溢出 —— BackpressureSpiller 在内存压力下协调提前溢出，防止 OOM
• Pipeline 优化 —— 修正 max_threads 计算，根据 pipe 宽度合理调整并行执行
• S3 智能分层 —— 增强 AWS S3 存储类转换支持，降低延迟波动
• 表达式解析加速 —— 复杂表达式的 SQL 解析更快
• 统计信息增强 —— SHOW STATISTICS 现在包含虚拟列统计和 min/max 值，查询规划更准确

🔧 Meta 服务改进

• 运维诊断 —— databend-meta -V 显示详细构建信息；新增 metactl dump-raft-log-wal 调试工具
• I/O 计时 —— 追踪日志条目应用时间，快速定位性能瓶颈
• RPC 整合 —— RpcHandler 统一计时指标，可观测性更好
• 原子化 watch 流 —— 修复 watch 流注册的竞态条件，集群更稳定

🐛 稳定性与可靠性

• CSV 内存修复 —— 大型 CSV COPY 操作不再 OOM，得益于流式处理改进
• JWT 优化 —— 更智能的密钥查找，避免不必要的 JWKS 刷新请求
• Parquet 流式处理 —— 修复基表列类型变更时的反序列化错误
• Grouping sets —— 修正复杂 GROUP BY 操作的 shuffle 模式处理
• 行访问策略 —— 修复参数顺序和大小写敏感问题
• NULL 约束 —— 列修改时的正确验证

🎯 默认配置

• Geo 和虚拟列 —— 现在默认为所有新部署启用
• MERGE INTO —— 移除实验性标记；完全生产可用

🤝 社区

• 欢迎新贡献者 @camilesing 和 @RiversJin —— 感谢你们的参与！

核心功能：AI 训练数据自动化的存储过程

存储过程是十月的核心功能。SQL 脚本引擎支持 dynamic schema introspection 后，实验性标记也一并移除——现在开箱即用。你可以完全用 SQL 自动化复杂的数据处理流程，不再需要外部工具。

来看真实场景：自动驾驶模型训练。路测视频被提取成单帧，AI 自动标注每一帧（行人、车辆、天气、光照）。你需要根据特定条件筛选视频帧——比如"城市夜景有行人"或"雨天城市镜头"——来构建针对性的训练数据集。

这个教程演示了 LET 变量、IF 条件、临时表、子查询、多表聚合、RETURN TABLE——所有生产自动化需要的核心功能。

Step-by-Step 教程

1. 创建数据库和表

CREATE DATABASE IF NOT EXISTS av_training;
USE av_training;-- 视频帧标注表（AI 生成的标签）
CREATE TABLE video_frames (video_id STRING,frame_id INT,scene_type STRING,        -- 'urban', 'highway'has_pedestrian BOOLEAN,has_vehicle BOOLEAN,lighting STRING,          -- 'day', 'night', 'dusk'weather STRING,           -- 'clear', 'rainy', 'foggy', 'sunny'pedestrian_count INT,confidence FLOAT,         -- AI 标注置信度capture_date DATE
);

2. 插入样例数据

INSERT INTO video_frames VALUES
-- 城市夜景，有行人
('V001', 1, 'urban', true, true, 'night', 'clear', 2, 0.95, '2025-10-20'),
('V001', 2, 'urban', true, false, 'night', 'clear', 1, 0.92, '2025-10-20'),-- 高速白天场景
('V002', 1, 'highway', false, true, 'day', 'sunny', 0, 0.98, '2025-10-21'),-- 城市夜景雨天
('V003', 1, 'urban', true, true, 'night', 'rainy', 1, 0.89, '2025-10-22'),
('V003', 2, 'urban', true, false, 'night', 'rainy', 2, 0.91, '2025-10-22'),-- 高速夜景（无行人）
('V004', 1, 'highway', false, true, 'night', 'clear', 0, 0.97, '2025-10-23'),-- 城市白天场景
('V005', 1, 'urban', true, true, 'day', 'clear', 3, 0.88, '2025-10-24'),
('V005', 2, 'urban', true, false, 'day', 'foggy', 1, 0.93, '2025-10-24');

3. 创建视频帧筛选存储过程

这个存储过程保持业务逻辑简单：始终筛选高置信度（≥ 0.85）的行人场景，同时允许按场景类型和天气缩小范围：

CREATE PROCEDURE filter_training_frames(scene_filter STRING,       -- 'urban', 'highway', 'ALL'weather_filter STRING,     -- 'clear', 'rainy', 'ALL'date_from DATE,date_to DATE
)
RETURNS TABLE (scene_type STRING,lighting STRING,weather STRING,frame_count INT,pedestrians INT,avg_confidence DOUBLE,total_frames INT
)
LANGUAGE SQL
AS $$
BEGINLET min_conf := 0.85;LET total_frames := 0;CREATE OR REPLACE TEMPORARY TABLE matched_frames ASSELECTvideo_id, frame_id, scene_type, lighting,weather, pedestrian_count, confidenceFROM video_framesWHERE capture_date BETWEEN :date_from AND :date_toAND confidence >= min_confAND (:scene_filter = 'ALL' OR scene_type = :scene_filter)AND (:weather_filter = 'ALL' OR weather = :weather_filter)AND has_pedestrian = true;LET total_frames := (SELECT COUNT(*) FROM matched_frames);IF total_frames = 0 THENRETURN TABLE(SELECT NULL::STRING AS scene_type,NULL::STRING AS lighting,NULL::STRING AS weather,0::INT AS frame_count,0::INT AS pedestrians,0.0::DOUBLE AS avg_confidence,0::INT AS total_frames);END IF;RETURN TABLE(SELECTscene_type,lighting,weather,COUNT(*) AS frame_count,SUM(pedestrian_count) AS pedestrians,AVG(confidence) AS avg_confidence,:total_frames AS total_framesFROM matched_framesGROUP BY scene_type, lighting, weatherORDER BY frame_count DESC);
END;
$$;

4. 运行存储过程：筛选城市行人场景（任意天气）

CALL PROCEDURE filter_training_frames('urban',                   -- 城市场景'ALL',                     -- 任意天气DATE '2025-10-20',DATE '2025-10-24'
);

预期输出：

scene_type | lighting | weather | frame_count | pedestrians | avg_confidence | total_frames
urban      | night    | rainy   |           2 |           3 |           0.90 |            6
urban      | night    | clear   |           2 |           3 |           0.94 |            6
urban      | day      | foggy   |           1 |           1 |           0.93 |            6
urban      | day      | clear   |           1 |           3 |           0.88 |            6

核心功能演示

核心能力

• LET 用于计数器/阈值，IF 提前退出，临时表
• 查询中的 :variable 插值和聚合的 RETURN TABLE

生产应用场景

这个模式适用于：

• AI/ML 数据准备 —— 筛选和分析训练数据集
• 数据质量检查 —— 验证并报告数据问题
• ETL 流水线 —— 多步骤转换与中间暂存
• 业务报表 —— 参数化报表与聚合
• 数据验证 —— 带提前退出的条件检查

了解更多：存储过程与 SQL 脚本文档

以上完整示例可以在 https://databend.cn 注册体验

总结

存储过程的正式可用标志着 Databend 迈入新的阶段：从查询引擎进化为完整的数据平台。用户可以在统一的 Rust 引擎上，用 Snowflake 兼容的 SQL 语法，处理结构化分析、半结构化搜索、向量检索、地理空间分析和数据自动化——所有功能开箱即用，完全开源。

我们即将推出 table branching 功能，让数据表像代码一样支持分支、测试和合并，敬请期待！

关于 Databend

Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式湖仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。

👨‍💻‍ Databend Cloud：databend.cn

📖 Databend 文档：docs.databend.cn

💻 Wechat：Databend

✨ GitHub：github.com/databendlab…