当前位置：首页 > news >正文

Oracle大表数据清理优化与注意事项详解

news 2025/7/11 9:42:09

一、性能优化策略

1. 批量处理优化

批量大小选择：
- 小批量(1,000-10,000行)：减少UNDO生成，但需要更多提交次数
- 中批量(10,000-100,000行)：平衡性能与资源消耗
- 大批量(100,000+行)：适合高配置环境，但需监控资源使用
批量删除示例：

BEGINFOR i IN 1..100 LOOPEXECUTE IMMEDIATE 'DELETE /*+ PARALLEL(4) */ FROM 大表 WHERE ROWNUM <= 100000 AND 条件 AND MOD(id,100)=:i' USING i;COMMIT;DBMS_LOCK.SLEEP(0.1); -- 控制速度END LOOP;
END;

2. 并行处理优化

并行查询设置：

ALTER SESSION ENABLE PARALLEL DML;
ALTER SESSION FORCE PARALLEL DML PARALLEL 8;

并行删除示例：

DELETE /*+ PARALLEL(大表 8) */ FROM 大表 
WHERE 创建时间 < ADD_MONTHS(SYSDATE, -36)
AND ROWNUM <= 1000000;

3. 资源控制优化

UNDO表空间管理：
- 增大UNDO表空间：ALTER TABLESPACE undo_ts ADD DATAFILE size 10G
- 设置UNDO保留期：ALTER SYSTEM SET UNDO_RETENTION=900 (秒)

临时表空间优化：

-- 检查临时表空间使用
SELECT tablespace_name, file_name, bytes/1024/1024 MB 
FROM dba_temp_files;-- 添加临时文件
ALTER TABLESPACE temp ADD TEMPFILE '/path/to/temp02.dbf' SIZE 20G;

4. 索引优化策略

删除前禁用索引：

-- 查询表索引
SELECT index_name FROM user_indexes WHERE table_name='大表';-- 禁用索引
ALTER INDEX idx_name UNUSABLE;-- 删除后重建索引
ALTER INDEX idx_name REBUILD TABLESPACE index_ts;

选择性重建索引：

-- 只重建碎片化严重的索引
SELECT index_name, blevel, leaf_blocks, (leaf_blocks*8)/1024/1024 "Size(GB)",(select count(*) from 大表) "Table_Rows"
FROM user_indexes 
WHERE table_name='大表'
ORDER BY (leaf_blocks*8)/1024/1024 DESC;

二、空间回收策略

1. 段空间回收

SHRINK SPACE操作：

-- 启用行移动
ALTER TABLE 大表 ENABLE ROW MOVEMENT;-- 收缩表空间
ALTER TABLE 大表 SHRINK SPACE CASCADE;-- 禁用行移动
ALTER TABLE 大表 DISABLE ROW MOVEMENT;

MOVE操作：

-- 移动表到新表空间
ALTER TABLE 大表 MOVE TABLESPACE new_ts;-- 移动后重建索引
SELECT 'ALTER INDEX '||index_name||' REBUILD;' FROM user_indexes 
WHERE table_name='大表';

2. 表空间重组

表空间导出/导入重组：

-- 1. 导出表空间
expdp system/password tablespaces=users directory=DATA_PUMP_DIR 
dumpfile=users_ts.dmp logfile=exp_users.log-- 2. 删除表空间文件
-- 3. 重建表空间
CREATE TABLESPACE users DATAFILE '/path/to/users01.dbf' SIZE 50G;-- 4. 导入数据
impdp system/password tablespaces=users directory=DATA_PUMP_DIR 
dumpfile=users_ts.dmp logfile=imp_users.log

3. ASM空间回收

ASM磁盘组空间释放：

-- 检查ASM空间使用
SELECT name, total_mb, free_mb FROM v$asm_diskgroup;-- 手动释放空间(需要ASM权限)
ALTER DISKGROUP dg_name REBALANCE POWER 10 WAIT;

三、日志与事务管理

1. 重做日志优化

调整日志大小和数量：

-- 检查当前日志配置
SELECT group#, bytes/1024/1024 MB, members, status FROM v$log;-- 添加新的大日志组
ALTER DATABASE ADD LOGFILE GROUP 4 ('/path/to/redo04a.log','/path/to/redo04b.log') SIZE 2G;-- 切换日志
ALTER SYSTEM SWITCH LOGFILE;-- 删除旧日志组(确认不再使用后)
ALTER DATABASE DROP LOGFILE GROUP 1;

2. NOLOGGING模式使用

设置表为NOLOGGING：

ALTER TABLE 大表 NOLOGGING;-- 重要操作后恢复LOGGING模式
ALTER TABLE 大表 LOGGING;-- 对分区表设置
ALTER TABLE 大表 MODIFY PARTITION part_name NOLOGGING;

3. 事务控制策略

分批提交控制：

-- 每10,000行提交一次
DECLAREv_counter NUMBER := 0;
BEGINFOR rec IN (SELECT * FROM 大表 WHERE 条件 FOR UPDATE) LOOPDELETE FROM 大表 WHERE id = rec.id;v_counter := v_counter + 1;IF MOD(v_counter, 10000) = 0 THENCOMMIT;DBMS_LOCK.SLEEP(0.05); -- 控制速度END IF;END LOOP;COMMIT;
END;

四、备份与恢复策略

1. 清理前备份方案

RMAN备份策略：

-- 备份整个表空间
RMAN> BACKUP TABLESPACE users FORMAT '/backup/users_%U.bkp';-- 备份特定表(11g+)
RMAN> BACKUP DATAFILE 5 TAG='TABLE_BACKUP' SECTION SIZE 1G;

数据泵备份：

-- 创建目录对象
CREATE DIRECTORY backup_dir AS '/backup';
GRANT READ, WRITE ON DIRECTORY backup_dir TO username;-- 导出表数据
expdp username/password tables=大表 directory=backup_dir 
dumpfile=large_table.dmp logfile=exp_large.log

2. 闪回技术使用

闪回表恢复：

-- 启用行移动
ALTER TABLE 大表 ENABLE ROW MOVEMENT;-- 闪回表到时间点
FLASHBACK TABLE 大表 TO TIMESTAMP TO_TIMESTAMP('2023-01-01 00:00:00', 'YYYY-MM-DD HH24:MI:SS');-- 或闪回到SCN
FLASHBACK TABLE 大表 TO SCN 123456789;

闪回查询验证：

-- 查询历史数据
SELECT COUNT(*) FROM 大表 AS OF TIMESTAMP 
SYSTIMESTAMP - INTERVAL '1' HOUR WHERE 条件;

五、监控与验证

1. 实时监控脚本

监控删除进度：

-- 监控会话的等待事件
SELECT s.sid, s.serial#, s.username, s.status, s.machine, s.program, se.wait_class, se.event
FROM v$session s, v$session_wait se
WHERE s.sid = se.sid
AND s.username = 'YOUR_USERNAME'
AND s.status = 'ACTIVE';-- 监控表空间使用
SELECT df.tablespace_name "表空间",df.bytes/1024/1024 "总大小(MB)",(df.bytes-fs.bytes)/1024/1024 "已使用(MB)",fs.bytes/1024/1024 "空闲(MB)",ROUND(100*(1-fs.bytes/df.bytes)) "使用率(%)"
FROM (SELECT tablespace_name, SUM(bytes) bytes FROM dba_data_files GROUP BY tablespace_name) df,(SELECT tablespace_name, SUM(bytes) bytes FROM dba_free_space GROUP BY tablespace_name) fs
WHERE df.tablespace_name = fs.tablespace_name;

2. 验证清理结果

数据完整性检查：

-- 检查记录数
SELECT 'Before' AS status, COUNT(*) FROM 大表@source_db UNION ALL
SELECT 'After' AS status, COUNT(*) FROM 大表;-- 检查关键业务数据
SELECT COUNT(*) FROM 大表 WHERE 关键字段 IS NULL;-- 检查分区数据分布
SELECT partition_name, num_rows 
FROM user_tab_partitions 
WHERE table_name='大表'
ORDER BY partition_position;

六、异常处理方案

1. 常见错误处理

空间不足错误(ORA-01653/ORA-01654)：

-- 解决方案：
-- 1. 添加数据文件
ALTER TABLESPACE users ADD DATAFILE '/path/to/users05.dbf' SIZE 10G AUTOEXTEND ON;-- 2. 扩展现有数据文件
ALTER DATABASE DATAFILE '/path/to/users01.dbf' RESIZE 20G;

锁等待超时(ORA-30006)：

-- 检查阻塞会话
SELECT blocking_session, sid, serial#, wait_class, seconds_in_wait
FROM v$session
WHERE blocking_session IS NOT NULL;-- 终止阻塞会话(谨慎使用)
ALTER SYSTEM KILL SESSION 'sid,serial#' IMMEDIATE;

2. 回滚策略

创建恢复点：

-- 创建保证恢复点
CREATE RESTORE POINT before_cleanup GUARANTEE FLASHBACK DATABASE;-- 执行清理操作...-- 出现问题时回滚
FLASHBACK DATABASE TO RESTORE POINT before_cleanup;-- 删除恢复点
DROP RESTORE POINT before_cleanup;

基于时间点的恢复：

-- 1. 关闭数据库
SHUTDOWN IMMEDIATE;-- 2. 启动到mount状态
STARTUP MOUNT;-- 3. 执行不完全恢复
RECOVER DATABASE UNTIL TIME '2023-11-01:12:00:00';-- 4. 打开数据库
ALTER DATABASE OPEN RESETLOGS;