使用MPI-IO并行读写HDF5文件
使用MPI-IO并行读写HDF5文件
HDF5支持通过MPI-IO进行并行读写，这对于大规模科学计算应用非常重要。下面我将提供C++和Fortran的示例程序，展示如何使用MPI-IO并行读写HDF5文件。
准备工作
在使用MPI-IO的HDF5之前，需要确保:
- HDF5库编译时启用了MPI支持
- 程序链接了HDF5的MPI库
C++示例
#include <hdf5.h>
#include <mpi.h>
#include <iostream>
#include <vector>
#define FILE_NAME "parallel.h5"
#define DATASET_NAME "IntArray"
#define DIM0 100 // 全局维度
#define DIM1 100
int main(int argc, char** argv) {
// 初始化MPI
MPI_Init(&argc, &argv);
int mpi_rank, mpi_size;
MPI_Comm_rank(MPI_COMM_WORLD, &mpi_rank);
MPI_Comm_size(MPI_COMM_WORLD, &mpi_size);
// 初始化HDF5的MPI环境
hid_t plist_id = H5Pcreate(H5P_FILE_ACCESS);
H5Pset_fapl_mpio(plist_id, MPI_COMM_WORLD, MPI_INFO_NULL);
// 创建或打开文件
hid_t file_id = H5Fopen(FILE_NAME, H5F_ACC_RDWR, plist_id);
if (file_id < 0) {
file_id = H5Fcreate(FILE_NAME, H5F_ACC_TRUNC, H5P_DEFAULT, plist_id);
}
H5Pclose(plist_id);
// 定义数据集维度
hsize_t dims[2] = {DIM0, DIM1};
// 创建数据空间
hid_t filespace = H5Screate_simple(2, dims, NULL);
// 创建数据集
hid_t dset_id = H5Dcreate(file_id, DATASET_NAME, H5T_NATIVE_INT, filespace,
H5P_DEFAULT, H5P_DEFAULT, H5P_DEFAULT);
H5Sclose(filespace);
// 定义每个进程的写入区域
hsize_t count[2] = {DIM0/mpi_size, DIM1};
hsize_t offset[2] = {mpi_rank * count[0], 0};
// 选择数据集的超平面
filespace = H5Dget_space(dset_id);
H5Sselect_hyperslab(filespace, H5S_SELECT_SET, offset, NULL, count, NULL);
// 创建内存数据空间
hid_t memspace = H5Screate_simple(2, count, NULL);
// 准备数据 - 每个进程填充自己的部分
std::vector<int> data(count[0] * count[1]);
for (size_t i = 0; i < count[0]; ++i) {
for (size_t j = 0; j < count[1]; ++j) {
data[i * count[1] + j] = mpi_rank * 1000 + i * count[1] + j;
}
}
// 设置集体写入属性
plist_id = H5Pcreate(H5P_DATASET_XFER);
H5Pset_dxpl_mpio(plist_id, H5FD_MPIO_COLLECTIVE);
// 并行写入数据
herr_t status = H5Dwrite(dset_id, H5T_NATIVE_INT, memspace, filespace,
plist_id, data.data());
// 清理资源
H5Dclose(dset_id);
H5Sclose(filespace);
H5Sclose(memspace);
H5Pclose(plist_id);
H5Fclose(file_id);
// 读取示例 - 类似写入过程
if (mpi_rank == 0) {
std::cout << "数据写入完成，开始读取验证..." << std::endl;
}
// 重新打开文件和数据集
file_id = H5Fopen(FILE_NAME, H5F_ACC_RDONLY, plist_id);
dset_id = H5Dopen(file_id, DATASET_NAME, H5P_DEFAULT);
// 分配读取缓冲区
std::vector<int> read_data(count[0] * count[1]);
// 设置集体读取属性
plist_id = H5Pcreate(H5P_DATASET_XFER);
H5Pset_dxpl_mpio(plist_id, H5FD_MPIO_COLLECTIVE);
// 选择相同的超平面
filespace = H5Dget_space(dset_id);
H5Sselect_hyperslab(filespace, H5S_SELECT_SET, offset, NULL, count, NULL);
// 并行读取数据
status = H5Dread(dset_id, H5T_NATIVE_INT, memspace, filespace,
plist_id, read_data.data());
// 验证数据
bool error = false;
for (size_t i = 0; i < count[0] * count[1]; ++i) {
if (read_data[i] != data[i]) {
error = true;
break;
}
}
if (!error && mpi_rank == 0) {
std::cout << "数据验证成功!" << std::endl;
}
// 清理资源
H5Dclose(dset_id);
H5Sclose(filespace);
H5Sclose(memspace);
H5Pclose(plist_id);
H5Fclose(file_id);
// 结束MPI
MPI_Finalize();
return 0;
}
Fortran示例
program parallel_hdf5_mpi
use hdf5
use mpi
implicit none
integer :: ierr, mpi_rank, mpi_size
integer(hid_t) :: file_id, dset_id, filespace, memspace, plist_id
integer(hsize_t), dimension(2) :: dims = (/100, 100/) ! 全局维度
integer(hsize_t), dimension(2) :: count, offset
integer, allocatable :: data(:, :)
integer :: i, j
character(len=*), parameter :: file_name = "parallel.h5"
character(len=*), parameter :: dset_name = "IntArray"
! 初始化MPI
call MPI_Init(ierr)
call MPI_Comm_rank(MPI_COMM_WORLD, mpi_rank, ierr)
call MPI_Comm_size(MPI_COMM_WORLD, mpi_size, ierr)
! 初始化HDF5
call h5open_f(ierr)
! 设置文件访问属性为MPI-IO
call h5pcreate_f(H5P_FILE_ACCESS_F, plist_id, ierr)
call h5pset_fapl_mpio_f(plist_id, MPI_COMM_WORLD, MPI_INFO_NULL, ierr)
! 创建或打开文件
call h5fopen_f(file_name, H5F_ACC_RDWR_F, file_id, ierr, access_prp=plist_id)
if (ierr /= 0) then
call h5fcreate_f(file_name, H5F_ACC_TRUNC_F, file_id, ierr, access_prp=plist_id)
endif
call h5pclose_f(plist_id, ierr)
! 创建数据空间
call h5screate_simple_f(2, dims, filespace, ierr)
! 创建数据集
call h5dcreate_f(file_id, dset_name, H5T_NATIVE_INTEGER, filespace, &
dset_id, ierr)
call h5sclose_f(filespace, ierr)
! 定义每个进程的写入区域
count(1) = dims(1)/mpi_size
count(2) = dims(2)
offset(1) = mpi_rank * count(1)
offset(2) = 0
! 选择数据集的超平面
call h5dget_space_f(dset_id, filespace, ierr)
call h5sselect_hyperslab_f(filespace, H5S_SELECT_SET_F, offset, count, ierr)
! 创建内存数据空间
call h5screate_simple_f(2, count, memspace, ierr)
! 准备数据 - 每个进程填充自己的部分
allocate(data(count(1), count(2)))
do i = 1, count(1)
do j = 1, count(2)
data(i, j) = mpi_rank * 1000 + (i-1)*count(2) + j
end do
end do
! 设置集体写入属性
call h5pcreate_f(H5P_DATASET_XFER_F, plist_id, ierr)
call h5pset_dxpl_mpio_f(plist_id, H5FD_MPIO_COLLECTIVE_F, ierr)
! 并行写入数据
call h5dwrite_f(dset_id, H5T_NATIVE_INTEGER, data, count, ierr, &
file_space_id=filespace, mem_space_id=memspace, &
xfer_prp=plist_id)
! 清理资源
deallocate(data)
call h5dclose_f(dset_id, ierr)
call h5sclose_f(filespace, ierr)
call h5sclose_f(memspace, ierr)
call h5pclose_f(plist_id, ierr)
call h5fclose_f(file_id, ierr)
! 读取示例 - 类似写入过程
if (mpi_rank == 0) then
print *, "数据写入完成，开始读取验证..."
endif
! 重新打开文件和数据集
call h5fopen_f(file_name, H5F_ACC_RDONLY_F, file_id, ierr, access_prp=plist_id)
call h5dopen_f(file_id, dset_name, dset_id, ierr)
! 分配读取缓冲区
allocate(data(count(1), count(2)))
! 设置集体读取属性
call h5pcreate_f(H5P_DATASET_XFER_F, plist_id, ierr)
call h5pset_dxpl_mpio_f(plist_id, H5FD_MPIO_COLLECTIVE_F, ierr)
! 选择相同的超平面
call h5dget_space_f(dset_id, filespace, ierr)
call h5sselect_hyperslab_f(filespace, H5S_SELECT_SET_F, offset, count, ierr)
! 并行读取数据
call h5dread_f(dset_id, H5T_NATIVE_INTEGER, data, count, ierr, &
file_space_id=filespace, mem_space_id=memspace, &
xfer_prp=plist_id)
! 验证数据 (这里简化为检查第一个元素)
if (data(1,1) == mpi_rank * 1000 + 1 .and. mpi_rank == 0) then
print *, "数据验证成功!"
endif
! 清理资源
deallocate(data)
call h5dclose_f(dset_id, ierr)
call h5sclose_f(filespace, ierr)
call h5sclose_f(memspace, ierr)
call h5pclose_f(plist_id, ierr)
call h5fclose_f(file_id, ierr)
! 关闭HDF5
call h5close_f(ierr)
! 结束MPI
call MPI_Finalize(ierr)
end program parallel_hdf5_mpi
编译和运行
对于C++程序:
mpicxx -o parallel_hdf5 parallel_hdf5.cpp -lhdf5 -lz
mpiexec -n 4 ./parallel_hdf5
对于Fortran程序:
mpif90 -o parallel_hdf5 parallel_hdf5.f90 -lhdf5_fortran -lhdf5 -lz
mpiexec -n 4 ./parallel_hdf5
关键点说明
- MPI初始化: 必须首先初始化MPI环境
- HDF5 MPI属性: 使用
H5Pset_fapl_mpio设置文件访问属性 - 数据分区: 每个进程负责数据集的不同部分
- 超平面选择: 使用
H5Sselect_hyperslab选择要读写的区域 - 集体操作: 使用
H5Pset_dxpl_mpio设置集体I/O模式 - 并行一致性: 所有进程必须参与集体操作
这些示例展示了基本的并行读写操作，实际应用中可能需要更复杂的数据分区和访问模式。