当前位置: 首页 > news >正文

Paimon的merge-engine配置

Paimon 的 merge-engine 是处理主键表中具有相同主键记录合并策略的重要配置项。以下是各种 merge engine 模式的总结:

  1. Deduplicate(默认)
    ● 行为:保留最新的记录,丢弃其他具有相同主键的记录
    ● DELETE 记录处理:如果最新记录是 DELETE,则删除所有相同主键的记录
    ● 配置选项:可通过 ignore-delete 忽略 DELETE 记录
  2. Partial Update(部分更新)
    ● 行为:允许多次更新同一记录的不同列,直到记录完整
    ● 特点:不覆盖 null 值;必须与 [lookup] 或 full-compaction changelog producer 配合使用
    ● DELETE 处理:默认不接受 DELETE 记录,可通过 ignore-delete 或 sequence-group 解决
    Sequence Group 机制
    ● 用于解决多流更新时的数据乱序问题
    ● 每个流可定义自己的序列组
    ● 支持为字段指定聚合函数
  3. Aggregation(聚合)
    ● 行为:根据指定的聚合函数对相同主键的记录进行聚合
    ● 默认聚合函数:last_non_null_value
    ● 支持的聚合函数:
    ○ last_value, last_non_null_value, first_value, first_non_null_value
    ○ listagg, bool_and, bool_or, nested_update, merge_map
    ● 要求:流式查询需配合 [lookup] 或 full-compaction changelog producer 使用
  4. First Row(首行)
    ● 行为:保留相同主键的第一条记录
    ● 特点:只生成插入类型的变更日志
    ● 限制:
    ○ 不能指定 sequence.field
    ○ 不接受 [DELETE]和 [UPDATE_BEFORE]
    ○ 可通过 ignore-delete 忽略这些消息
http://www.dtcms.com/a/611312.html

相关文章:

  • wordpress 站点图标网站源码下载了没有管理后台
  • C语言编译器在Win7系统下的安装与配置
  • 青岛集团网站建设宿州网站建设时间
  • Rust 中的 Tokio 线程同步机制
  • 平台网站建设方案书建设视频网站费用吗
  • 网站关键词字符编辑昌江网站建设
  • CRS税务合规解决方案:马来西亚税号 vs 新加坡自雇EP全面解析(中国卖家税务规划指南)
  • 基于Rust实现高性能数据处理引擎
  • 可以做网站引导页的页面中文域名注册 .网站
  • 问答社区网站建设艺术风格网站
  • 江苏企业建设网站公司网页制作基础教程黄洪杰
  • 做技术网站赚钱吗太原网络广告公司
  • 住房和城乡建设部网站注册山东网站建设最便宜
  • Redhat 8.10 离线升级 Redhat 9.6
  • 百日挑战——单词篇(第二十二天)
  • 管家婆单机软件如何在SQL2008R2进行账套升级?
  • 企业网站建设层次简述企业形象管理咨询的基本内容
  • opencv 学习: 09 邻近像素处理,以高通滤波图片锐化为例
  • 湖北省建设工程造价管理协会网站优化软件
  • 建设vip网站相关视频企业营业执照
  • cnzz统计代码放在网站泉州微信网站建设
  • 算法备案全攻略:材料清单与避坑指南
  • 做外贸电商网站有哪个国家最新防疫政策
  • 诸几建设银行网站洛可可在线设计平台
  • 电子商务网站开发价格安徽工程造价信息网
  • 快看点自媒体平台网站怎样做优化
  • 微信小程序 点击某个marker改变其大小
  • 51Sim 4DGS闭环仿真架构,让基于真实数据的闭环仿真成为可能
  • 基于质谱的蛋白质组学能用来研究多肽的结构和功能吗?
  • 网站速度优化方案一般可以在哪些网站做推广