当前位置: 首页 > news >正文

Oracle大表数据清理优化与注意事项详解

一、性能优化策略

1. 批量处理优化

  • 批量大小选择

    • 小批量(1,000-10,000行):减少UNDO生成,但需要更多提交次数
    • 中批量(10,000-100,000行):平衡性能与资源消耗
    • 大批量(100,000+行):适合高配置环境,但需监控资源使用
  • 批量删除示例

BEGINFOR i IN 1..100 LOOPEXECUTE IMMEDIATE 'DELETE /*+ PARALLEL(4) */ FROM 大表 WHERE ROWNUM <= 100000 AND 条件 AND MOD(id,100)=:i' USING i;COMMIT;DBMS_LOCK.SLEEP(0.1); -- 控制速度END LOOP;
END;

2. 并行处理优化

  • 并行查询设置

    ALTER SESSION ENABLE PARALLEL DML;
    ALTER SESSION FORCE PARALLEL DML PARALLEL 8;
    
  • 并行删除示例

    DELETE /*+ PARALLEL(大表 8) */ FROM 大表 
    WHERE 创建时间 < ADD_MONTHS(SYSDATE, -36)
    AND ROWNUM <= 1000000;
    

3. 资源控制优化

  • UNDO表空间管理

    • 增大UNDO表空间:ALTER TABLESPACE undo_ts ADD DATAFILE size 10G
    • 设置UNDO保留期:ALTER SYSTEM SET UNDO_RETENTION=900 (秒)
  • 临时表空间优化

    -- 检查临时表空间使用
    SELECT tablespace_name, file_name, bytes/1024/1024 MB 
    FROM dba_temp_files;-- 添加临时文件
    ALTER TABLESPACE temp ADD TEMPFILE '/path/to/temp02.dbf' SIZE 20G;
    

4. 索引优化策略

  • 删除前禁用索引

    -- 查询表索引
    SELECT index_name FROM user_indexes WHERE table_name='大表';-- 禁用索引
    ALTER INDEX idx_name UNUSABLE;-- 删除后重建索引
    ALTER INDEX idx_name REBUILD TABLESPACE index_ts;
    
  • 选择性重建索引

    -- 只重建碎片化严重的索引
    SELECT index_name, blevel, leaf_blocks, (leaf_blocks*8)/1024/1024 "Size(GB)",(select count(*) from 大表) "Table_Rows"
    FROM user_indexes 
    WHERE table_name='大表'
    ORDER BY (leaf_blocks*8)/1024/1024 DESC;
    

二、空间回收策略

1. 段空间回收

  • SHRINK SPACE操作

    -- 启用行移动
    ALTER TABLE 大表 ENABLE ROW MOVEMENT;-- 收缩表空间
    ALTER TABLE 大表 SHRINK SPACE CASCADE;-- 禁用行移动
    ALTER TABLE 大表 DISABLE ROW MOVEMENT;
    
  • MOVE操作

    -- 移动表到新表空间
    ALTER TABLE 大表 MOVE TABLESPACE new_ts;-- 移动后重建索引
    SELECT 'ALTER INDEX '||index_name||' REBUILD;' FROM user_indexes 
    WHERE table_name='大表';
    

2. 表空间重组

  • 表空间导出/导入重组
    -- 1. 导出表空间
    expdp system/password tablespaces=users directory=DATA_PUMP_DIR 
    dumpfile=users_ts.dmp logfile=exp_users.log-- 2. 删除表空间文件
    -- 3. 重建表空间
    CREATE TABLESPACE users DATAFILE '/path/to/users01.dbf' SIZE 50G;-- 4. 导入数据
    impdp system/password tablespaces=users directory=DATA_PUMP_DIR 
    dumpfile=users_ts.dmp logfile=imp_users.log
    

3. ASM空间回收

  • ASM磁盘组空间释放
    -- 检查ASM空间使用
    SELECT name, total_mb, free_mb FROM v$asm_diskgroup;-- 手动释放空间(需要ASM权限)
    ALTER DISKGROUP dg_name REBALANCE POWER 10 WAIT;
    

三、日志与事务管理

1. 重做日志优化

  • 调整日志大小和数量
    -- 检查当前日志配置
    SELECT group#, bytes/1024/1024 MB, members, status FROM v$log;-- 添加新的大日志组
    ALTER DATABASE ADD LOGFILE GROUP 4 ('/path/to/redo04a.log','/path/to/redo04b.log') SIZE 2G;-- 切换日志
    ALTER SYSTEM SWITCH LOGFILE;-- 删除旧日志组(确认不再使用后)
    ALTER DATABASE DROP LOGFILE GROUP 1;
    

2. NOLOGGING模式使用

  • 设置表为NOLOGGING
    ALTER TABLE 大表 NOLOGGING;-- 重要操作后恢复LOGGING模式
    ALTER TABLE 大表 LOGGING;-- 对分区表设置
    ALTER TABLE 大表 MODIFY PARTITION part_name NOLOGGING;
    

3. 事务控制策略

  • 分批提交控制
    -- 每10,000行提交一次
    DECLAREv_counter NUMBER := 0;
    BEGINFOR rec IN (SELECT * FROM 大表 WHERE 条件 FOR UPDATE) LOOPDELETE FROM 大表 WHERE id = rec.id;v_counter := v_counter + 1;IF MOD(v_counter, 10000) = 0 THENCOMMIT;DBMS_LOCK.SLEEP(0.05); -- 控制速度END IF;END LOOP;COMMIT;
    END;
    

四、备份与恢复策略

1. 清理前备份方案

  • RMAN备份策略

    -- 备份整个表空间
    RMAN> BACKUP TABLESPACE users FORMAT '/backup/users_%U.bkp';-- 备份特定表(11g+)
    RMAN> BACKUP DATAFILE 5 TAG='TABLE_BACKUP' SECTION SIZE 1G;
    
  • 数据泵备份

    -- 创建目录对象
    CREATE DIRECTORY backup_dir AS '/backup';
    GRANT READ, WRITE ON DIRECTORY backup_dir TO username;-- 导出表数据
    expdp username/password tables=大表 directory=backup_dir 
    dumpfile=large_table.dmp logfile=exp_large.log
    

2. 闪回技术使用

  • 闪回表恢复

    -- 启用行移动
    ALTER TABLE 大表 ENABLE ROW MOVEMENT;-- 闪回表到时间点
    FLASHBACK TABLE 大表 TO TIMESTAMP TO_TIMESTAMP('2023-01-01 00:00:00', 'YYYY-MM-DD HH24:MI:SS');-- 或闪回到SCN
    FLASHBACK TABLE 大表 TO SCN 123456789;
    
  • 闪回查询验证

    -- 查询历史数据
    SELECT COUNT(*) FROM 大表 AS OF TIMESTAMP 
    SYSTIMESTAMP - INTERVAL '1' HOUR WHERE 条件;
    

五、监控与验证

1. 实时监控脚本

  • 监控删除进度
    -- 监控会话的等待事件
    SELECT s.sid, s.serial#, s.username, s.status, s.machine, s.program, se.wait_class, se.event
    FROM v$session s, v$session_wait se
    WHERE s.sid = se.sid
    AND s.username = 'YOUR_USERNAME'
    AND s.status = 'ACTIVE';-- 监控表空间使用
    SELECT df.tablespace_name "表空间",df.bytes/1024/1024 "总大小(MB)",(df.bytes-fs.bytes)/1024/1024 "已使用(MB)",fs.bytes/1024/1024 "空闲(MB)",ROUND(100*(1-fs.bytes/df.bytes)) "使用率(%)"
    FROM (SELECT tablespace_name, SUM(bytes) bytes FROM dba_data_files GROUP BY tablespace_name) df,(SELECT tablespace_name, SUM(bytes) bytes FROM dba_free_space GROUP BY tablespace_name) fs
    WHERE df.tablespace_name = fs.tablespace_name;
    

2. 验证清理结果

  • 数据完整性检查
    -- 检查记录数
    SELECT 'Before' AS status, COUNT(*) FROM 大表@source_db UNION ALL
    SELECT 'After' AS status, COUNT(*) FROM 大表;-- 检查关键业务数据
    SELECT COUNT(*) FROM 大表 WHERE 关键字段 IS NULL;-- 检查分区数据分布
    SELECT partition_name, num_rows 
    FROM user_tab_partitions 
    WHERE table_name='大表'
    ORDER BY partition_position;
    

六、异常处理方案

1. 常见错误处理

  • 空间不足错误(ORA-01653/ORA-01654)

    -- 解决方案:
    -- 1. 添加数据文件
    ALTER TABLESPACE users ADD DATAFILE '/path/to/users05.dbf' SIZE 10G AUTOEXTEND ON;-- 2. 扩展现有数据文件
    ALTER DATABASE DATAFILE '/path/to/users01.dbf' RESIZE 20G;
    
  • 锁等待超时(ORA-30006)

    -- 检查阻塞会话
    SELECT blocking_session, sid, serial#, wait_class, seconds_in_wait
    FROM v$session
    WHERE blocking_session IS NOT NULL;-- 终止阻塞会话(谨慎使用)
    ALTER SYSTEM KILL SESSION 'sid,serial#' IMMEDIATE;
    

2. 回滚策略

  • 创建恢复点

    -- 创建保证恢复点
    CREATE RESTORE POINT before_cleanup GUARANTEE FLASHBACK DATABASE;-- 执行清理操作...-- 出现问题时回滚
    FLASHBACK DATABASE TO RESTORE POINT before_cleanup;-- 删除恢复点
    DROP RESTORE POINT before_cleanup;
    
  • 基于时间点的恢复

    -- 1. 关闭数据库
    SHUTDOWN IMMEDIATE;-- 2. 启动到mount状态
    STARTUP MOUNT;-- 3. 执行不完全恢复
    RECOVER DATABASE UNTIL TIME '2023-11-01:12:00:00';-- 4. 打开数据库
    ALTER DATABASE OPEN RESETLOGS;
    

七、最佳实践总结

  1. 测试环境验证:在生产环境执行前,务必在测试环境验证清理脚本

  2. 分阶段实施

    • 第一阶段:小批量测试(1-10万行)
    • 第二阶段:中等批量(10-100万行)
    • 第三阶段:全量清理
  3. 资源监控

    • 监控CPU、内存、I/O使用率
    • 监控UNDO和临时表空间使用
    • 监控等待事件和会话状态
  4. 文档记录

    • 记录清理前的数据量
    • 记录清理条件和范围
    • 记录执行时间和资源消耗
    • 记录验证结果和异常处理
  5. 自动化监控

    • 设置告警阈值(如表空间使用率>85%)
    • 配置自动扩展策略
    • 实现自动清理任务调度

通过以上优化策略和注意事项,可以确保Oracle大表清理过程高效、安全且可恢复,最大限度地减少对生产环境的影响。

http://www.dtcms.com/a/272830.html

相关文章:

  • 毫米波雷达守护银发安全:七彩喜跌倒检测仪重构居家养老防线
  • AI+低代码双引擎驱动:重构智能业务系统的产品逻辑
  • 二分查找篇——搜索旋转排序数组【LeetCode】一次二分查找
  • Datawhale AI 夏令营:基于带货视频评论的用户洞察挑战赛 Notebook(上篇)
  • C#集合:从基础到进阶的全面解析
  • 力扣-48.旋转图像
  • 文件追加模式:编写一个程序,向一个已存在的文件末尾追加内容。
  • ADVANTEST R4131 SPECTRUM ANALYZER 光谱分析仪
  • 有缺陷的访问控制
  • Agent调用(高德地图)MCP服务
  • Java虚拟机栈Test01
  • 盲盒一番赏小程序技术实现方案:高并发与防作弊的平衡之道
  • C#System.Runtime.InteropServices.ExternalException (0x80004005): GDI+ 中发生一般性错误。
  • Kettle导入Excel文件进数据库时,数值发生错误的一种原因
  • 计算机视觉速成 之 概述
  • Ubuntu如何快速搭建docker以及使用代理访问
  • Linux入门篇学习——Linux 工具之 make 工具和 makefile 文件
  • 数据结构 顺序表(1)
  • 等保-linux-三权分立账号设置,系统管理员、安全管理员、审计管理员
  • 目标检测中的评价指标计算
  • 数据结构 —— 键值对 map
  • Git操作技巧(一)
  • shell学习从入门到精通
  • 数据仓库:企业数据管理的核心枢纽
  • 创客匠人视角:从信任经济看创始人 IP 如何重塑 IP 变现逻辑
  • nmap扫描指定网段中指定开放端口的主机(IP,mac地址)
  • 量子计算系统软件:让“脆弱”的量子计算机真正可用
  • 有什么好使用的内网ip映射软件?可以让家庭/公司网络局域网端口,让公网互联网跨网访问
  • Spring boot整合dubbo+zookeeper
  • 26-计组-外存