20250917_车辆定位系统aidata-01Apache Doris数据库备份+恢复+清理 流程操作文档
1、Doris FE、BE节点部署
全流程参考：https://blog.csdn.net/mmdewhite/article/details/130084461
2、Broker节点部署及在FE节点注册Broker
全流程参考: https://blog.csdn.net/zhou920786312/article/details/129347223
3、仓库创建
操作地点：数据库所在服务器的MySQL命令行
在Shell命令行输入mysql -uroot -P9030 -h 127.0.0.1以进入MySQL命令行
在备份之前首先要创建仓库用于保存快照。创建仓库的语句如下
CREATE REPOSITORY `仓库名`
WITH BROKER `Broker名`
ON LOCATION "远程仓库路径"
PROPERTIES (部分参数 );如下面代码块，即使用minio_broker创建了名为hdfs_backup_with_broker的仓库，并作为用户root链接到了hdfs://aidata2:9000/backup/路径的HDFS仓库上
CREATE REPOSITORY `hdfs_backup_with_broker`
WITH BROKER `minio_broker`
ON LOCATION "hdfs://aidata2:9000/backup/"
PROPERTIES ("username" = "root" );创建成功后可使用SHOW REPOSITORIES查看仓库。
注意事项：
- Broker节点需要能够解析aidata2指向的ip地址，或直接使用ip地址替代aidata2
- 使用的用户需要对应路径的读写权限
- 注意端口和防火墙权限
4、备份
操作地点：数据库所在服务器的MySQL命令行
备份需要数据库执行下面语句：
Use [待备份数据库名];
BACKUP SNAPSHOT [备份名] TO `[仓库名]` PROPERTIES ("type" = "full");
操作完成后，待备份数据库将会完成全量备份。备份过程中可使用SHOW BACKUP\G查看备份进度。备份完成后可使用SHOW SNAPSHOT ON [仓库名]查看储存在指定仓库中的快照信息。
详细语句用法参考：
https://doris.apache.org/zh-CN/docs/2.0/sql-manual/sql-reference/Data-Definition-Statements/Backup-and-Restore/BACKUP
https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249202.html
5、备份导出
操作地点：数据库所在服务器的Shell命令行
使用BACKUP语句备份的内容将保存在HADOOP中，无法直接转存读取等，需要先从HADOOP中导出。在HADOOP中运行下面代码即可将备份文件导出，并且可以再次恢复到HADOOP中，从而恢复到Doris数据库中。
hadoop fs -get [待导出文件路径] [导出目标路径]
该代码直接将该文件导出到本地路径，导出后可选择压缩。
6、备份恢复
操作地点：数据库所在服务器的MySQL命令行
备份恢复需调用快照，使用RESTORE SNAPSHOT进行恢复
可使用SHOW SNAPSHOT ON [仓库名];查看指定仓库下的快照及其对应的时间戳。
RESTORE SNAPSHOT [备份名] from [仓库名]
Properties
(
"backup_timestamp"="[备份对应时间戳]",
"replication_num" = "[复制数量(不大于BE节点数)]"
);备份恢复过程中可使用show restore\G;查看恢复状态
恢复语句用法参考：
https://doris.apache.org/zh-CN/docs/2.0/sql-manual/sql-reference/Data-Definition-Statements/Backup-and-Restore/RESTORE
7、快照清理
操作地点：数据库所在服务器的Shell命令行
快照备份时会在Hadoop仓库中储存快照，快照不会自动删除，因此需要定期处理删除。
查看快照
hadoop fs -ls /backup/__palo_repository_hdfs_backup_with_broker快照在仓库中保存的路径为：
/backup/__palo_repository_[仓库名]/__ss_[快照名]所有快照的删除操作如下：
hadoop fs -rm -r /backup/__palo_repository_hdfs_backup_with_broker/__ss*8、快照恢复
操作地点：数据库所在服务器的Shell命令行
首先将保存在备份集10.1.3.15上的压缩包解压，进入到解压内容中，找到__ss_[快照名]格式的文件夹。解压后应能在/data/backup_py/tmp下找到。输入下面命令即可将快照复制到Hadoop仓库中，接着可以使用6、备份恢复中的操作从Hadoop仓库中将备份恢复到数据库中。
hadoop fs -cp file:///data/backup_py/tmp/* /backup/__palo_repository_hdfs_backup_with_broker更多hadoop操作见：
https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_user_guide.html