当前位置: 首页 > news >正文

SeaTunnel 社区月报(5-6 月):全新功能上线、Bug 大扫除、Merge 之星是谁?

在 5 月和 6 月,SeaTunnel 社区迎来了一轮密集更新:2.3.11 正式发布,新增对 Databend、Elasticsearch 向量、HTTP 批量写入、ClickHouse 多表写入等多个连接器能力,全面提升了数据同步灵活性。同时,近 100 个修复与优化 PR 合入,涵盖 Spark 引擎并行性修复、Paimon 精度兼容性增强、Mongo-CDC ExactlyOnce 默认值优化、Oracle DDL 类型支持补全等核心问题,稳定性和兼容性持续升级。

此外,Merge 之星榜单也已揭晓,感谢所有活跃贡献者对社区建设的持续投入!

月度Merge之星

感谢以下小伙伴 5、6 月份为 Apache SeaTunnel 所做的精彩贡献(排名不分先后):

weekly_combined_avatars_2025-07-01

@hawk9821,@CosmosNi,@suntectec,@zhangshenghang,@dailai,@fcb-xiaobo,@Hisoka-X,@jw-itq,@ocean-zhc,@liudechang,@xiaochen-zhou,@itnccuong,@Adamyuanyuan,@e-mhui,@SEZ9,@misi1987107,@hailin0,@prclin,@dybyte,@chl-wxp,@Zzih,@liunaijie,
@litiliu,@papadave66,@scienceyang,@emmanuelmoon,@ShuiMu-peng,@hantmac,@corgy-w,@sohurdc,@joexjx,@mrtisttt,@dyp12,@yzeng1618,@zhilinli123,@WenDing-Y

apache/seatunnel仓库

修复

  • [Fix][Doc]Sink的 plugin_input 配置不正确 @e-mhui
  • [Fix][Connector-V2]优化 Paimon 的 DECIMAL 类型检查以防止精度丢失 @xiaochen-zhou
  • [Fix][Connector-V2]更新批处理模式和只写模式的 waitCompaction 值 @xiaochen-zhou
  • [Fix][Connector-V2]修复 starrocks 小数列定义生成 #9470 @prclin
  • [bugfix][Connector-V2]修复了负载驱动不准确的情况 @chl-wxp
  • [Fix][paimon-e2e]端到端测试错误 @WenDing-Y
  • [Fix][Zeta]修复主节点切换时的操作线程泄漏 @Hisoka-X
  • [Fix][Connector-Iceberg]修复 Iceberg 时间戳类型的时区问题 @yzeng1618
  • [Fix][seatunnel-dist]修复重复依赖项 @litiliu
  • [Fix][Mongo-CDC]修复 mongo 的 ExactlyOnce 默认为 true 导致 room 出现故障的问题 @jw-itq
  • [Bug][Connector-V2]修复 Paimon 中小数类型精度不兼容时的 NPE 问题 @hawk9821
  • [bug][dist]修复发布打包异常 @hawk9821
  • [Fix][Connector-V2]更正批量大小每扫描选项的键中的拼写错误 @corgy-w
  • [Fix][Connector-V2]在 SeaTunnelRow 中设置默认 tableid 以进行 Debezium JSON 反序列化 @corgy-w
  • [Fix][Zeta]将 SeaTunnelTask 中的 parallelStream 改为 stream 以避免类加载器不匹配 @sohurdc
  • [Fix][Connector-V2]Oracle CDC 在启用 LOB 时未更新事务提交 @Hisoka-X
  • [Fix][Transform-V2]日期格式字符串中 'T' 的正确处理 @corgy-w
  • [Fix][Connector-V2]箭头到Seatunnel行读取器转换Seatunnel行值 添加处理第二个TIMESTAMP类型 @dyp12
  • [Fix][Connector-V2]修复 OceanBase Oracle 不支持的数据类型创建 @Hisoka-X
  • [Fix][Connecotr-kafka]修复 Kafka 中偏移量为 -1 时的 IllegalArgumentException @WenDing-Y
  • [Fix][Connector-Http]修复无效的 MIME 类型 @litiliu
  • [Fix][CI]将 iris docker 版本更新为修复 ci @Hisoka-X
  • [Fix][E2E]Kafka的固定端到端测试用例未能按预期工作 @WenDing-Y
  • [Fix][Spark]修复源并行性在 Spark 引擎上无法正常工作的问题 @joexjx
  • [Fix][Connector-V2]修复 Prometheus 检查时间无法解析双精度值 @chl-wxp
  • [Fix][CI]修复更新构建状态操作错误 @Hisoka-X
  • [Fix][Connector-jdbc]修复 PostgreSQL sink 尝试更新唯一键 #9293 @papadave66
  • [Fix][CI]禁用死链检查 @Hisoka-X
  • [Fix][CI]将 continue-on-error 设置为 true 以处理死链任务 @Hisoka-X
  • [Fix][Connector-V2]修复 Hive 客户端线程不安全问题 @corgy-w
  • [Bug][Zeta]SeaTunnelClient 无法带错误退出 @CosmosNi
  • [Fix][Connector-V2]修复构建 ClickHouse 节点时缺失选项配置的问题 @mrtisttt
  • [Fix][CI]从健全性检查中移除死链检查 @Hisoka-X
  • [Fix][Connector-V2]修复 OceanBase MySQL JDBC sink 创建语句错误 @Hisoka-X
  • [Fix][Zeta]修复极端情况下的检查点调度丢失问题 @Hisoka-X
  • [Fix][Transform-v2]修复自定义 UDF 抛出异常 @hawk9821

优化

  • [improve]套接字选项 @liunaijie
  • [Improve]表存储选项 @liunaijie
  • [Improve][Transform-V2]移除不必要的取消引用方法并简化日期解析 @corgy-w
  • [Improve][Connector-V2]支持在upsert会话模式下使用MaxCompute输出写入器进行upsert/删除操作 @dybyte
  • [Doc][Improve]Paimon 支持的投影更新 @WenDing-Y
  • [improve][Connector-V2]删除 JDBC 参数 support_upsert_by_query_primary_key_exist @chl-wxp
  • [Feature][connector-kudu]实现过滤器 @WenDing-Y
  • [Feature][Zeta]将开始时间添加到作业信息中 @hawk9821
  • [improve]TDengine 选项 @liunaijie
  • [improve]Typesense 选项 @liunaijie
  • [Improve][Connector-file]向BinaryReadStrategy添加可配置的二进制块大小支持 @CosmosNi
  • [Feature][Connector-V2][JDBC]添加 presto/trino 语法 @dyp12
  • [Feature][Jdbc]通过正则表达式支持读取多个表 @yzeng1618
  • [feature][connectors-v2]Paimon 中的谓词下推支持 @hawk9821
  • [Improve]JdbcInputFormat nextRecord 抛出异常 TableId @zhilinli123
  • [Feature][Connector-V2]JDBC 支持将 tinyint1 读取为 byte(tinyint) @Hisoka-X
  • [Feature]从 2.3.11 版本升级到 2.3.12 版本 @zhangshenghang
  • [Improve][Oracle-CDC]移除重复的加载表名 @hailin0
  • [Improve][Transform][SQL]支持转换为 TINYINT/SMALLINT @hailin0
  • [Improve][Transform-V2]SQL 转换 EXTRACT 函数支持更多字段 @CosmosNi
  • [Feature][Sink]文件支持新格式:maxwell_json、canal_json、debezium_json #9278 @dyp12
  • [Improve][Connector-V2]修复 paimon 连接器的单词拼写错误 @dailai
  • [Feature][Connector-V2]支持Databend源/目标连接器 @hantmac
  • [Feature][Connectors-V2][Elasticsearch]支持向量变换Sink @SEZ9
  • [Improve][Connector-V2]为FTP数据通道添加远程主机验证选项 @corgy-w
  • [Feature][Connectors-V2]为时间戳开始模式添加结束时间戳 @WenDing-Y
  • [Improve]优化 stop-seatunnel-cluster.sh 中变量处理的健壮性 @mrtisttt
  • [Improve][Oracle-CDC]修复 Oracle 重命名 DDL 事件中缺失的列类型 @hailin0
  • [improve]EasySearch 支持 schema_save_mode/data_save_mode @CosmosNi
  • [Improve]移除无用的 iceberg sink 配置 iceberg.table.config @Hisoka-X
  • [Feature][Connector-doris]添加了不区分大小写的特性 @yzeng1618
  • [Feature][Connector-JDBC]支持将Oracle BLOB数据作为字符串而不是字节读取 @yzeng1618
  • [Improve]在开发分支中删除 release-note.md @Hisoka-X
  • [Feature][Connector-V2]支持 ClickHouse 的多表写入功能 @mrtisttt
  • [Feature][http-Sink]实现HTTP批量写入 @ocean-zhc
  • [improve]Sentry 选项 @liunaijie
  • [improve]sls 命令的选项 @liunaijie
  • [improve]RocketMQ 选项 @liunaijie
  • [Feature][Connector-V2]Iceberg 添加胶水目录支持 @itnccuong
  • [Improve][Connector-V2]支持 MaxCompute sink 编写器的 timestamp 字段类型 @dybyte
  • [Improve][Transform-V2]改进 SQL 转换异常以定位错误表达式 @misi1987107
  • [improve]脉冲星选项 @liunaijie
  • [Feature][transform-v2]SQL 转换支持多条件判断函数 @CosmosNi
  • [Feature][Transform]使用 Amazon Titan 和 cohere 嵌入模型支持单次/批量模式的向量化 @SEZ9
  • [Doc][Improve] support chinese [docs/zh/connector-v2/source/MySQL-CDC.md]好的。 @scienceyang
  • [Feature][connector-hive]Hive sink连接器支持覆盖模式 #7843 @Adamyuanyuan

其他

  • [Chore][Core]移除 ConfigBuilder 中无用的参数 @Hisoka-X
  • [Doc]修复链接错误和DynamoDB参数错误 @ShuiMu-peng
  • [Release][2.3.11][connector-change-log]更新连接器变更日志 @zhangshenghang
  • [Doc]将 deepwiki 添加到 README.md #9354 @emmanuelmoon
  • 添加 MongoDB-CDC 连接器中文文档 @liudechang
  • [Doc][zh-CN]添加HiveJdbc连接器的中文文档(#8497) @liudechang
  • [Doc][Connector-V2]更新OssFileSink的保存模式配置 @Zzih
  • [Future][Connector-V2]支持非主键表的自动创建 @hawk9821

apache/seatunnel-website仓库

修复

  • [Fix][Doc]修复 transform-v2 文本标题 @suntectec
  • [Fix][Seatunnel-website]Sink的 plugin_input 配置不正确 @e-mhui
  • [Fix]在 version.js 中使用动态导入代替 execa @zhangshenghang
  • [Fix]修复无法显示的 con @fcb-xiaobo

其他

  • [Release][2.3.11]更新Seatunnel网站文档 @zhangshenghang
  • [NOTICE]更新安全通知 @hailin0
http://www.dtcms.com/a/263718.html

相关文章:

  • 从零到一搭建远程图像生成系统:Stable Diffusion 3.5+内网穿透技术深度实战
  • 密码学(斯坦福)
  • 数字图像处理学习笔记
  • 电机控制的一些笔记
  • CentOS Stream 下 Nginx 403 权限问题解决
  • jQuery UI 安装使用教程
  • 使用Spring Boot 原始的文件下载功能,告别下载风险!
  • Python实例题:基于 Flask 的任务管理系统
  • 数据结构:递归:组合数(Combination formula)
  • vue3中实现高德地图POI搜索(附源码)
  • 主流零信任安全产品深度介绍
  • 网络的相关概念
  • 港美股证券交易系统综合解决方案:技术架构革新与跨境服务升级
  • docker windows 安装mysql:8.0.23
  • Next.js 安装使用教程
  • Zephyr RTOS 信号量 (Semaphore)
  • 基于3D卷积神经网络与多模态信息融合的医学影像肿瘤分类与可视化分析
  • 商品中心—17.缓存与DB一致性的技术文档
  • Linux: network: 性能 pause
  • 【项目笔记】高并发内存池项目剖析(二)
  • Leetcode力扣解题记录--第49题(map)
  • 二型糖尿病居家管理小程序的设计与实现(消息订阅、websocket及时通讯、协同过滤算法)
  • OpenCV CUDA模块设备层-----“小于阈值设为零” 的图像处理函数thresh_to_zero_func()
  • 学习面向对象
  • 渗透测试(Penetration Testing)入门:如何发现服务器漏洞
  • 第2章,[标签 Win32] :兼容 ASCII 字符与宽字符的 Windows 函数调用
  • React:利用React.memo和useCallback缓存弹窗组件
  • 欢乐熊大话蓝牙知识24:LE Secure Connections 是 BLE 的安全升级术
  • HarmonyOS应用开发高级认证知识点梳理 (一) 布局与样式
  • 微信小程序使用秋云ucharts echarts