【Apache Paimon】-- 1.2.0 版本的Table 类型和 merge engine
目录
1、Table 类型
1.1 主键表
1.2 非主键表(Append Only表)
2、Merge engine(仅适用于主键表)
2.1 deduplicate(默认值)
2.2 first-row
2.3 aggregation
2.4 partial-update
1、Table 类型
1.1 主键表
创建Paimon表时指定了主键(primary key),则该表即为Paimon主键表。
语法结构
例如,创建一张分区键为dt,主键为dt、shop_id和user_id,分桶数固定为 2 的Paimon主键表。
CREATE TABLE T_TEST (dt STRING,shop_id BIGINT,user_id BIGINT,total_orders INT,total_amount INT,PRIMARY KEY (dt, shop_id, user_id) NOT ENFORCED
) PARTITIONED BY (dt) WITH ('bucket' = '2'
);
Paimon 主键表中每行数据的主键值各不相同,如果将多条具有相同主键的数据写入Paimon主键表,将根据数据合并机制(Merge engine)对数据进行合并。