在多socket多核计算机上配置MPI和OpenMP

在多socket多核计算机上配置MPI和OpenMP

要在一个多socket多核的计算机上配置MPI和OpenMP混合并行，使得每个MPI进程管理一个socket，并在每个MPI进程内使用OpenMP多线程，可以按照以下步骤进行：

基本配置方法

1. 自动探测硬件拓扑

首先需要探测系统的硬件拓扑结构：

# 查看CPU信息
lscpu# 或使用hwloc工具
lstopo --no-icaches

2. 使用MPI进程绑定到socket

大多数MPI实现都支持进程绑定，以下是常见MPI实现的配置方法：

OpenMPI

mpirun --map-by socket --bind-to socket -x OMP_NUM_THREADS=<threads_per_socket> ./your_program

Intel MPI

mpiexec -genv OMP_NUM_THREADS=<threads_per_socket> -genv I_MPI_PIN_DOMAIN=socket ./your_program

MPICH

mpiexec -bind-to socket -env OMP_NUM_THREADS <threads_per_socket> ./your_program

自动探测和启动脚本

以下是一个bash脚本示例，可以自动探测socket和核心数并启动MPI+OpenMP混合程序：

#!/bin/bash# 自动探测系统拓扑
NUM_SOCKETS=$(lscpu | grep "Socket(s)" | awk '{print $2}')
CORES_PER_SOCKET=$(lscpu | grep "Core(s) per socket" | awk '{print $4}')
THREADS_PER_CORE=$(lscpu | grep "Thread(s) per core" | awk '{print $4}')# 计算每socket的逻辑核心数
LOGICAL_CORES_PER_SOCKET=$((CORES_PER_SOCKET * THREADS_PER_CORE))# 设置OpenMP线程数（通常等于每socket的逻辑核心数或略少）
OMP_THREADS=$LOGICAL_CORES_PER_SOCKET# 导出环境变量
export OMP_NUM_THREADS=$OMP_THREADS
export OMP_PLACES=cores
export OMP_PROC_BIND=close# 打印检测到的配置
echo "检测到系统配置:"
echo "  Socket数量: $NUM_SOCKETS"
echo "  每Socket物理核心数: $CORES_PER_SOCKET"
echo "  每核心线程数: $THREADS_PER_CORE"
echo "  每Socket逻辑核心数: $LOGICAL_CORES_PER_SOCKET"
echo "  设置的OpenMP线程数: $OMP_THREADS"# 启动MPI程序（使用OpenMPI为例）
echo "启动MPI程序..."
mpirun --map-by socket --bind-to socket -np $NUM_SOCKETS ./your_program

高级配置建议

1. NUMA控制：对于NUMA系统，可以添加numactl控制内存分配：

   mpirun --map-by socket --bind-to socket numactl --preferred=<node> ./your_program
   

2. OpenMP绑定：设置OpenMP线程绑定策略：

   export OMP_PLACES=cores
   export OMP_PROC_BIND=close
   

3. 混合并行调试：可以使用以下命令验证绑定是否正确：

   # 对于OpenMPI
   mpirun --report-bindings --map-by socket --bind-to socket -np $NUM_SOCKETS ./your_program
   

4. 性能调优：根据应用特性，可能需要调整每socket的OpenMP线程数，通常设置为物理核心数而非逻辑核心数可能获得更好性能。

这种配置方式确保了每个MPI进程管理一个socket，并在该socket内使用OpenMP多线程，适合内存访问密集型应用，可以减少跨socket内存访问带来的性能损失。