postgresql增量备份系列二 pg_probackup
已经很久没有发文章了，主要是最近工作上的内容都不适合发文章公开。可能往后文章发表也不这么频繁了，不过大家有问题我们可以交流。之前有写过PG增量备份的其他工具使用方法，pg_probackup也是应用比较多的PG备份工具。
一. pg_probackup
pg_probackup 是一个用于管理 PostgreSQL 数据库集群备份与恢复的实用工具，截止2.5.15版本，支持 PostgreSQL 11-16 及以上版本。它能够执行定期备份，并在故障发生时帮助恢复服务器。
pg_probackup实用程序基于pg_arman，它最初由NTT编写，然后由Michael Paquier开发和维护。
作为 PostgreSQL 官方扩展工具之一，pg_probackup 相比其他备份方案具备以下优势：
🔁 多样化增量备份模式
支持三种增量备份方式：
- DELTA 模式：读取整个数据目录，仅复制变更页，减少写入量。
- PAGE 模式：基于 WAL 分析提取变更页，节省空间，但依赖完整归档。
- PTRACK 模式：通过 PostgreSQL 内建的 page tracking 位图追踪变更，速度最快，对系统性能影响最小。
🚀 快速恢复
- 增量恢复（Incremental Restore）：跳过未变更的页，提高恢复效率。
- 部分恢复（Partial Restore）：可选择仅恢复某个数据库，而非整个集群。
- Catchup 功能：用于让落后的 Standby 节点快速追上主节点。
✅ 验证与一致性检查
- 自动校验（Validation）：备份过程中进行数据一致性检查，支持离线验证。
- 实例验证（Verification）：通过
checkdb命令对 PostgreSQL 实例进行完整性验证。
📦 高效的存储与空间管理
- 压缩（Compression）：备份数据支持压缩，节省磁盘空间。
- 去重（Deduplication）：自动排除未变化的非数据页（如
_vm、_fsm）。 - 备份保留策略（Retention Policy）：
- 支持基于时间点（recovery window）或保留备份数量。
- 可配置 TTL（生命周期）来控制备份过期。
- 过期备份支持自动合并或删除。
⚙️ 高性能执行与并发支持
- 所有核心操作（如备份、恢复、校验、删除等）均支持多线程并行处理，大幅提升性能。
🌐 远程与灵活备份源支持
- 支持远程 PostgreSQL 实例的备份与恢复，无需在本地操作。
- 可从 Standby 节点 执行备份，减轻主节点负载。
- 可备份 PGDATA 之外的目录（如配置文件、脚本、日志、SQL 文件等）。
📁 集中备份目录与元数据管理
- 使用统一的 Backup Catalog 管理多个 PostgreSQL 实例的备份与 WAL。
- 提供 JSON 或纯文本格式 的备份/归档信息，便于脚本调用和可视化集成。
🛡️ 强一致性保障
所有备份均为 物理在线备份，确保数据一致性。支持两种 WAL 捕获方式：
- ARCHIVE 模式：依赖持续 WAL 归档进行恢复（默认模式）。
- STREAM 模式：通过复制协议实时抓取 WAL，形成自治型（standalone）备份，适用于未启用归档的环境。
撒
pg_probackup 使用的前置要求
| 限制 | 描述 |
|---|---|
| 支持的 PostgreSQL 版本 | pg_probackup 仅支持 PostgreSQL 9.5 及更高版本。 |
| Windows 系统的限制 | Windows 系统不支持远程模式。 |
| PostgreSQL 11 的备份要求 | 在 Unix 系统上，对于 PostgreSQL 11，备份只能由启动 PostgreSQL 服务器的同一个操作系统用户执行。例如，如果 PostgreSQL 由用户 postgres 启动，则备份命令也必须由用户 postgres 执行。在使用 SSH 远程模式时，必须设置 --remote-user 选项为 postgres。 |
| PostgreSQL 9.5 的备份要求 | 对于 PostgreSQL 9.5，函数 pg_create_restore_point(text) 和 pg_switch_xlog() 只有当备份角色是超级用户时才能执行。因此，使用非超级用户角色备份流量较少的集群时，备份可能会比使用超级用户角色时更慢。 |
| 备份与恢复服务器的兼容性 | 从 PostgreSQL 服务器中获取的备份与被恢复的服务器必须在 block_size 和 wal_block_size 参数上兼容，并且必须具有相同的主版本号。根据集群配置，PostgreSQL 本身可能会施加额外的限制，如 CPU 架构或 libc/icu 版本等。 |
安装部署
通过github下载其pg_probackup源码包
执行源码编译安装。需要可读取pg_config指令。
su - postgres ## 使用postgres用户 避免其他用户安装破环目录权限问题tar -zxvf pg_probackup-2.5.15.tar.gz
cd pg_probackup-2.5.15/
make USE_PGXS=1 PG_CONFIG=/home/postgres/pg/bin/pg_config top_srcdir=/home/postgres/postgresql-16.3
make USE_PGXS=1 PG_CONFIG=/home/postgres/pg/bin/pg_config top_srcdir=/home/postgres/postgresql-16.3 install ## top_srcdir 参数指定得是YODB的源码包位置
## USE_PGXS=1 使用 PGXS 外部扩展构建模式创建初始化目录适用独立得目录为其备份
#创建备份目录
mkdir -p /home/postgres/backup
##初始化备份目录（pg_probackup会自动创建对应得backups、wal的分类