当前位置: 首页 > news >正文

PostgreSQL大表创建分区实战

        

目录

1. 存储空间占用分析

索引大小估算公式:

具体案例计算:

2. 风险分析与规避措施

主要风险:

3. 安全创建索引方案

步骤1:准备阶段

步骤2:分阶段并发创建索引

4. 分区表特别优化

方案A:仅索引热分区

方案B:使用部分索引

5. 监控与应急措施

实时监控命令:

应急终止:

6. 存储优化技巧

7. 最终推荐方案

性能影响对比


    在 5 亿级数据量的分区表上创建索引需要谨慎操作,但不会导致数据库崩溃,只要合理规划资源和操作方式。以下是详细分析和安全操作指南:


1. 存储空间占用分析

索引大小估算公式:
索引大小 ≈ 表行数 × (索引列大小 + 8字节) × 1.3
具体案例计算:
表名行数索引列索引大小估算实际大小范围
t_personnel_record5亿(plate, p_id)5e8 × (20+8)×1.3 ≈ 18.2GB15-25GB
t_cl_motor5亿(plate, ctime)5e8 × (20+8)×1.3 ≈ 18.2GB15-25GB

总索引空间:约 30-50GB(取决于实际数据分布)


2. 风险分析与规避措施

主要风险:
  1. 磁盘空间不足

    • 创建索引需要额外临时空间(≈ 索引大小的1.2倍)
    • 解决方案:确保磁盘空闲空间 > 最大表大小的1.5倍
  2. 长时锁表(默认CREATE INDEX)

    • 阻塞写操作,可能引发应用超时
    • 解决方案:使用 CREATE INDEX CONCURRENTLY
  3. 内存/CPU过载

    • 排序操作消耗大量 work_mem
    • 解决方案:分阶段创建 + 资源控制

3. 安全创建索引方案

步骤1:准备阶段
-- 检查磁盘空间(至少预留100GB)
SELECT pg_size_pretty(pg_tablespace_size('pg_default'));-- 设置维护内存(加速创建)
SET maintenance_work_mem = '4GB';  -- 不超过总内存25%
步骤2:分阶段并发创建索引
-- 对tr_personnel_record创建索引(不阻塞写入)
CREATE INDEX CONCURRENTLY idx_t_record_plate_pid 
ON t_personnel_record (plate, p_id);-- 对t_clkk_motor创建索引(隔天执行)
CREATE INDEX CONCURRENTLY idx_cl_motor_plate 
ON t_cl_motor (plate);

耗时预估(基于 SSD 磁盘):

  • 单表索引创建:5亿行 ≈ 2-4小时
  • 并发模式速度降低30%,但保证业务连续性

4. 分区表特别优化

方案A:仅索引热分区
-- 只为最近分区创建索引
CREATE INDEX idx_t_record_2025_plate ON t_personnel_record_2025 (plate);
CREATE INDEX idx_cl_motor_2025_plate ON t_cl_motor_2025 (plate);
方案B:使用部分索引
-- 只索引非空数据(减少30%大小)
CREATE INDEX idx_tr_record_active 
ON t_personnel_record (plate) 
WHERE p_id IS NOT NULL;

5. 监控与应急措施

实时监控命令:
-- 查看索引创建进度
SELECT pid, query,pg_size_pretty(pg_total_relation_size(relid)) AS size
FROM pg_stat_progress_create_index;-- 监控锁等待
SELECT * FROM pg_locks WHERE mode = 'ShareUpdateExclusiveLock';
应急终止:
-- 终止索引创建
SELECT pg_terminate_backend(pid) 
FROM pg_stat_activity 
WHERE query LIKE '%CREATE INDEX%';

6. 存储优化技巧

  1. 索引压缩

    CREATE INDEX ... WITH (compression = on);  -- PG 14+
    
    • 节省20-40%空间
  2. 表空间分离

    CREATE TABLESPACE index_ssd LOCATION '/ssd_data';
    CREATE INDEX ... TABLESPACE index_ssd;
    
  3. 清理旧索引

    DROP INDEX IF EXISTS old_index;  -- 创建前删除无用索引
    

7. 最终推荐方案

# 操作流程
1. 申请维护窗口(业务低峰期)
2. 检查磁盘空间:确保 > 100GB 空闲
3. 设置参数:SET maintenance_work_mem='4GB';
4. 创建索引(并发模式):CREATE INDEX CONCURRENTLY ...;
5. 验证索引:\d+ t_personnel_record
6. 收集统计信息:ANALYZE t_personnel_record;

性能影响对比

场景CPU峰值磁盘IO耗时业务影响
并发创建索引70%4小时只读延迟
标准创建索引100%极高1.5小时阻塞写入
不创建索引---查询超时

结论:虽然大表索引会消耗资源,但合理操作不会导致崩溃。建议:

  1. 使用 CONCURRENTLY 模式
  2. 优先索引热分区
  3. 预留足够磁盘空间
  4. 在维护窗口操作

通过此方案,可在保证数据库稳定的前提下,为5亿级分区表安全创建索引。

http://www.dtcms.com/a/264969.html

相关文章:

  • Arduino CH552 ADC的使用
  • NumPy 或 PyTorch/TensorFlow 中的张量理解
  • Servlet开发流程(包含IntelliJ IDEA项目添加Tomcat依赖的详细教程)
  • 【论文阅读】DeepEyes: Incentivizing “Thinking with Images” via Reinforcement Learning
  • 【新手小白的嵌入式学习之路】-STM32的学习_GPIO 8种模式学习心得
  • JavaWeb笔记03
  • GC393:一款低功耗双电压比较器芯片
  • 设计模式-责任链模式
  • SpringBoot控制反转
  • vue中的toRef
  • 【Redis】StringRedisTemplate 和 RedisTemplate 的区别
  • Python 数据分析与可视化 Day 14 - 建模复盘 + 多模型评估对比(逻辑回归 vs 决策树)
  • JavaEE==网站开发
  • Liunx 安装 MySQL 8.0
  • Selenium使用教程-爬虫版(超详细)
  • 数学建模_图论
  • 重塑智能体决策路径:深入理解 ReAct 框架
  • 【前端进阶】【实战】【性能优化】前端开发中的事件监听与DOM操作优化实践
  • Linux基本命令篇 —— whereis命令
  • 利用 Claude Opus 4 自动化 GitHub 工作流:从安装到实战详解
  • 新版本AI数字人全能管家,即将推出,还是开源免费。
  • [附源码+数据库+毕业论文+答辩PPT]基于Spring+MyBatis+MySQL+Maven+vue实现的中小型企业财务管理系统,推荐!
  • 多个单片机简单通讯框架
  • GO Web 框架 Gin 完全解析与实践
  • 数据结构与算法 第三章 栈和队列
  • 第一章 快速入门
  • DPI深度检索原理和架构
  • 人脸活体识别3:C/C++实现人脸眨眼 张嘴 点头 摇头识别(可实时检测)
  • 创客匠人解构知识付费爆单密码:产品力打造与 IP 变现的深度耦合
  • Kafka高级特性深度解析:构建企业级流处理平台的核心技术