【Doris基础】Doris中的Tablet详解：核心存储单元的设计与实现
目录
1 Tablet基础概念
1.1 什么是Tablet
1.2 Tablet的核心特性
1.3 Tablet与相关概念的关系
2 Tablet的架构设计
2.1 Tablet的整体架构
2.2 Tablet的存储结构
3 Tablet的生命周期管理
3.1 Tablet的创建流程
3.2 Tablet的数据写入流程
3.3 Tablet的压缩与合并
4 Tablet的分布式管理
4.1 Tablet的副本分布策略
4.2 Tablet的负载均衡
4.3 Tablet的修复机制
5 Tablet的性能优化
5.1 Tablet的分桶与分区分桶
5.2 Tablet的预分区与动态分区
5.3 Tablet的查询优化
6 Tablet的监控与运维
6.1 Tablet的状态监控
6.2 Tablet的常见问题处理
6.3 Tablet的平衡与迁移
7 Tablet的高级特性
7.1 冷热数据分层
7.2 副本属性设置
7.3 Tablet的缓存优化
8 总结
1 Tablet基础概念
1.1 什么是Tablet
在Apache Doris（原百度Palo）分布式数据库中， Tablet是最基本的数据分片和存储单元。它代表了表数据的一个水平分片，类似于传统数据库中的"分区"概念，但具有更丰富的特性和更精细的管理粒度。
Tablet是Doris实现分布式存储和并行计算的基础。每个Tablet通常包含表的一部分数据，这些数据在物理上独立存储，可以分布在不同的Backend节点上，从而实现数据的分布式处理和负载均衡。
1.2 Tablet的核心特性
- 水平分片：Tablet将大表数据水平切分为多个小块，便于分布式存储和并行处理
- 副本机制：每个Tablet默认配置多个副本（通常为3个），保证数据高可用
- 独立管理：Tablet是数据迁移、副本修复、压缩等操作的最小单位
- 版本控制：每个Tablet通过版本号机制实现数据一致性
- 高效查询：查询时只需访问相关Tablet，避免全表扫描
1.3 Tablet与相关概念的关系
- Tablet vs Partition：一个分区(Partition)包含多个Tablet，分区是逻辑概念，Tablet是物理存储单元
- Tablet vs Replica：一个Tablet有多个副本(Replica)，分布在不同的Backend上
- Tablet vs Segment：在Doris的存储引擎中，一个Tablet由多个Segment文件组成
2 Tablet的架构设计
2.1 Tablet的整体架构
架构说明：
- 一个表(Table)可以划分为多个分区(Partition)，分区通常按照时间或业务维度划分
- 每个分区包含多个Tablet，Tablet数量决定了查询的并行度
- 每个Tablet有多个副本(Replica)，默认3副本，分布在不同的Backend节点
- 每个副本由多个Segment文件组成，Segment是实际存储数据的文件格式
2.2 Tablet的存储结构
存储组件说明：Data：实际存储的数据，组织为Rowset(行集)，每个Rowset包含多个SegmentIndex：
- Short Key Index：前缀索引，加速查询
- Bloom Filter：快速判断数据不存在
- Zone Map：存储列的最小/最大值，用于过滤
Metadata：
- Schema：表结构信息
- Version：版本信息，用于实现MVCC
3 Tablet的生命周期管理
3.1 Tablet的创建流程
步骤说明：
- 用户通过FE(Frontend)创建表或添加分区时，FE决定Tablet的分布
- FE选择多个BE(Backend)节点创建Tablet副本
- 每个BE节点在本地创建Tablet存储结构
- FE收集所有副本创建结果后更新元数据
- Tablet进入可用状态
3.2 Tablet的数据写入流程
写入过程详解：
- 客户端向FE发送写入请求
- FE根据分区键确定目标Tablet，并选择主副本(Primary Replica)
- 数据首先写入主副本的内存Buffer
- 内存Buffer定期刷盘形成磁盘文件
- 主副本生成新版本并同步到从副本(Secondary Replicas)
- 所有副本确认后提交版本，写入完成
3.3 Tablet的压缩与合并
Doris会定期对Tablet中的多个Segment文件进行压缩合并(Compaction)，以提高查询性能。
压缩类型：
- Cumulative Compaction：合并最近的增量数据，频率较高(每小时多次)
- Base Compaction：合并历史数据，频率较低(每天1-2次)
- Full Compaction：手动触发的完全合并，重组所有数据
4 Tablet的分布式管理
4.1 Tablet的副本分布策略
Doris采用智能的副本分布策略保证集群的高可用和负载均衡， 分布策略说明：
- 优先保证副本分布在不同的物理节点
- 考虑机架、机房级别的容灾
- 避免副本集中在少数节点导致负载不均衡
- 遵循用户自定义的Tag分布策略
4.2 Tablet的负载均衡
Doris会定期检查Tablet分布并进行负载均衡，主要考虑以下因素：
- 各BE节点的磁盘使用率
- 各BE节点的计算负载
- Tablet的访问热点
- 副本分布的均衡性
- 负载均衡策略可以通过FE配置项调整
ALTER SYSTEM SET tablet_sched_balance_load_disk_safe_threshold = 0.5;4.3 Tablet的修复机制
当BE节点宕机或网络隔离时，Doris会自动检测并修复缺失的副本：
修复策略：
- 优先从同一分区的其他Tablet副本克隆
- 其次选择同一BE上的其他副本
- 最后考虑跨BE的副本修复
- 修复优先级考虑Tablet的重要性(访问频率等)
5 Tablet的性能优化
5.1 Tablet的分桶与分区分桶
合理的分桶(Bucketing)策略对性能至关重要：
CREATE TABLE example_db.table_hash
(k1 DATE,k2 INT,k3 SMALLINT,v1 VARCHAR(2048),v2 DATETIME DEFAULT "2025-05-04 15:36:00"
)
ENGINE=olap
DISTRIBUTED BY HASH(k1, k2, k3) BUCKETS 32
PROPERTIES ("replication_num" = "3","storage_medium" = "SSD"
);分桶设计建议：
- 每个Tablet大小建议在1-10GB之间
- 分桶键选择高基数列，避免数据倾斜
- 分桶数量应为节点数的整数倍
- 考虑查询模式，使查询能裁剪掉不必要的Tablet
5.2 Tablet的预分区与动态分区
CREATE TABLE table_range
(k1 DATE,k2 INT,...
)
PARTITION BY RANGE(k1)
(PARTITION p202501 VALUES LESS THAN ('2025-02-01'),PARTITION p202502 VALUES LESS THAN ('2025-03-01')
)
DISTRIBUTED BY HASH(k2) BUCKETS 16
PROPERTIES ("dynamic_partition.enable" = "true","dynamic_partition.time_unit" = "MONTH","dynamic_partition.start" = "-12","dynamic_partition.end" = "3","dynamic_partition.prefix" = "p","dynamic_partition.buckets" = "16"
);分区策略建议：
- 按时间分区便于冷热数据分离和过期删除
- 动态分区简化管理，避免手动创建
- 分区粒度根据数据量决定，通常按天/周/月
- 结合TTL设置自动过期历史分区
5.3 Tablet的查询优化
查询优化技巧：
- 确保查询条件包含分区键和分桶键
- 利用前缀索引加速点查询
- 合理设置Bloom Filter提高过滤效率
- 监控Tablet的扫描统计，调整数据分布
6 Tablet的监控与运维
6.1 Tablet的状态监控
通过Doris提供的命令可以查看Tablet状态：
-- 查看Tablet分布
SHOW TABLETS FROM example_db.table_name;
-- 查看Tablet详情
SHOW TABLET 10001;
-- 查看数据倾斜情况
SHOW DATA SKEW FROM example_db.table_name;6.2 Tablet的常见问题处理
- 问题1：Tablet版本不一致
- 解决方案：
-- 查看不一致Tablet
ADMIN SHOW REPLICA DISTRIBUTION FROM table_name;
-- 手动触发修复
ADMIN REPAIR TABLE table_name;
- 问题2：Tablet副本缺失
- 解决方案：
-- 查看压缩状态
SHOW PROC '/compaction';
-- 手动触发压缩
ALTER TABLE table_name COMPACT;
- 问题3：Tablet压缩卡住
- 解决方案：
-- 查看压缩状态
SHOW PROC '/compaction';
-- 手动触发压缩
ALTER TABLE example_db.table_name COMPACT;6.3 Tablet的平衡与迁移
-- 查看平衡状态
SHOW PROC '/cluster_balance';
-- 手动迁移Tablet
ADMIN MOVE REPLICA 10001 FROM "backend1:9050" TO "backend2:9050";7 Tablet的高级特性
7.1 冷热数据分层
Doris支持将Tablet的不同副本存储在不同的存储介质上：
ALTER TABLE .table_name
MODIFY PARTITION p202501
SET ("storage_cooldown_ttl" = "7 days", "storage_medium" = "SSD");7.2 副本属性设置
ALTER TABLE example_db.table_name
MODIFY PARTITION p202501
SET ("replica_allocation" = "tag.location.zone1:2, tag.location.zone2:1");7.3 Tablet的缓存优化
-- 设置索引缓存
SET GLOBAL index_page_cache_capacity = 1073741824; -- 1GB
-- 设置数据缓存
SET GLOBAL storage_page_cache_capacity = 4294967296; -- 4GB8 总结
通过深入理解Doris的Tablet机制，可以更好地设计和管理分布式数据库，充分发挥Doris的高性能优势。Tablet作为最核心的存储单元，其设计和管理质量直接决定了整个集群的性能和稳定性。