为某网友的AMD GPU平台编译和调优LAMMPS和GROMACS

0 前言

上个月收到一位网友的哔哩哔哩私信，希望笔者帮他折腾一下用AMD GPU跑LAMMPS，笔者本不太愿意接这种“吃力不讨好”的活，拖了一天多，最终良心过不去，还是接了。

该网友的PC配置是AMD Ryzen 5900X + Radeon 6800XT，他事先在闲鱼平台上花钱找人安装了Ubuntu Desktop 22.04.3 LTS操作系统。据了解，第一个“闲鱼师傅”安装不成功，把锅甩给了“主板不兼容”，又找了一个师傅，才安装成功。

此外，该网友还有一台Ryzen 7945HX + RTX 4060 Laptop笔记本PC。他此前一直使用的是在该笔记本PC上通过WSL安装的LAMMPS，GPU加速包是“GPU”，编译流程是传统make，使用纯MPI并行。

鉴于上述情况，笔者为其在两台PC上均编译了LAMMPS，并做了一些简单的性能调优。

进一步询问后了解到，该网友需要模拟甲烷、二氧化碳等物质在二氧化硅或石墨烯表面的吸附，因此笔者强烈推荐了GROMACS，并为其在6800XT的PC上编译了GROMACS 2023.2。

今年8月，笔者已经发过包括这2款软件在内的4款MD软件在AMD GPU平台上的基准测试以及兼容性说明和疑难解答，甚至面向国际同行发布了英文版。本文算是该系列文章的“番外篇”。

1 安装ROCm软件栈

理论上不需要手动下载ROCm，只需要到repo.radeon.com下载amdgpu-install元数据包，后续全部使用apt自动下载和安装即可。但根据经验，apt下载异常慢，因此推荐用多线程下载工具事先把一些比较大的包下载好，修复个别包的文件名，放到apt缓存目录（/var/cache/apt/archives），再安装。笔者事先下载了以下包：

1.1 每步命令

1. 切换到root用户：

sudo -i

2. 将预先下载好的包放到apt缓存目录：

cp [包所在目录]/* /var/cache/apt/archives

3. 安装amdgpu-install元数据包：

apt install ./amdgpu-install_5.7.50700-1652687.22.04_all.deb

4. 更新apt包索引：

apt update

5. 安装ROCm软件栈，含AMD GPU内核态驱动：

amdgpu-install --usecase=rocm,hiplibsdk

此前已经把大部分包放进了apt缓存目录，因此安装过程很快。

6. 将需要使用AMD GPU的用户（对于PC，一般是主用户）添加到render组：

usermod -a -G render [用户名]

7. 重启：

reboot

重启后在需要使用AMD GPU的用户下执行rocminfo，如有正常输出，则说明ROCm软件栈配置完毕。

2 LAMMPS – AMD GPU

在6800XT的PC上编译LAMMPS 2Aug2023，同时包含GPU包和Kokkos包用于GPU加速。使用CMake+预设脚本进行编译，十分优雅。

2.1 每步操作

0. 编译OpenMPI（对于多卡并行的情况可选），按需启用UCX、GPU-aware等特性，这不是本文重点，不赘述。

1. 在8月文章中提到：

对于RDNA GPU，需使用最新版Kokkos (4.1.0) 替换官方捆绑的Kokkos（lib/kokkos），并将cmake/CMakeLists.txt第146和147行的14改为17。

最新版Kokkos：https://github.com/kokkos/kokkos/releases

2. 在预设文件cmake/presets/basic.cmake中添加要启用的包名（除Kokkos）：

3. 修改预设文件cmake/presets/kokkos-hip.cmake中的架构代号：

4. 建立并进入编译所用目录：

mkdir build-gpu-kokkos-hip-gfx1030

cd build-gpu-kokkos-hip-gfx1030

5. CMake配置：

cmake -C ../cmake/presets/basic.cmake -C ../cmake/presets/kokkos-hip.cmake -D GPU_API=HIP -D HIP_ARCH=gfx1030 -D CMAKE_CXX_COMPILER=hipcc -D HIP_PATH=/opt/rocm/hip/bin ../cmake

6. 编译：

cmake --build . -j24

将二进制文件所在目录添加至PATH环境变量，即可使用。

2.2 并行性能调优

添加OpenMP环境变量：

export OMP_NUM_THREADS=[每个进程的CPU线程数]

export GOMP_CPU_AFFINITY=[CPU核心ID范围]

对于该网友的PC，以上环境变量的最佳值分别为'6'、'0-5'。若要在单块GPU上运行2个任务，则为第二个任务设置GOMP_CPU_AFFINITY=6-11。若要在单块GPU上运行4个任务，则设置OMP_NUM_THREADS=3，并为4个任务分别设置GOMP_CPU_AFFINITY，分别为'0-2'、'3-5'、'6-8'、'9-11'。

3 LAMMPS – NVIDIA GPU – WSL

GPU驱动和CUDA Toolkit等基础环境配置不赘述。

CMake配置命令：

cmake -C ../cmake/presets/basic.cmake -D GPU_API=CUDA -D GPU_ARCH=sm_89 ../cmake

没有启用Kokkos，可能是由于WSL环境过于混乱，出现了一些CUDA库找不到的情况。没有深究，因为该网友基本用不到双精度计算。

WSL下无法绑定CPU物理核心，因此只设置了OMP_NUM_THREADS=2，在Windows物理机上通过任务管理器将WSL进程分配到第二个CCD，因为第二个CCD一般比较空闲。

调优后MD模拟运行速度相较于之前快了1倍，是上节所述6800XT PC的~50%。测试基于该网友提供的输入文件。

4 AdaptiveCpp – ROCm

AdaptiveCpp有2个老名字：hipSYCL和OpenSYCL，在8月份笔者文章发布时它叫OpenSYCL。该SYCL实现正在快速迭代，新版本性能相较于上一个发布版本（hipSYCL 0.9.4）有很大提升，因此本次依然非常激进地使用了10月11日的开发版分支。

4.1 每步操作

1. 建立并进入编译所用目录：

mkdir build-rocm

cd build-rocm

2. CMake配置：

cmake -D CMAKE_INSTALL_PREFIX=/opt/AdaptiveCppDev20231011.rocm570 -D CMAKE_C_COMPILER=/opt/rocm/llvm/bin/clang -D CMAKE_CXX_COMPILER=/opt/rocm/llvm/bin/clang++ -D WITH_ROCM_BACKEND=ON -D ROCM_PATH=/opt/rocm -D LLVM_DIR=/opt/rocm/llvm/lib/cmake/llvm -D WITH_SSCP_COMPILER=OFF ..

3. 编译和安装：

make -j24 install

5 GROMACS – AMD GPU

5.1 每步命令

1. 建立并进入编译所用目录：

mkdir build-sycl-rocm

cd build-sycl-rocm

2. CMake配置：

cmake -D CMAKE_PREFIX_PATH=/opt/AdaptiveCppDev20231011.rocm570 -D CMAKE_INSTALL_PREFIX=/opt/gmx2023.2_sycldev20231011_rocm570_gfx1030 -D CMAKE_C_COMPILER=/opt/rocm/llvm/bin/clang -D CMAKE_CXX_COMPILER=/opt/rocm/llvm/bin/clang++ -D GMX_GPU=SYCL -D GMX_SYCL_HIPSYCL=ON -D HIPSYCL_TARGETS=hip:gfx1030 -D GMX_BUILD_OWN_FFTW=ON ..

3. 编译和安装：

make -j24 install

载入初始化脚本即可使用：

source /opt/gmx2023.2_sycldev20231011_rocm570_gfx1030/bin/GMXRC

5.2 并行性能调优

对于该网友的PC，推荐的mdrun命令：

gmx mdrun -v -deffnm [tpr文件名称] -pin on -bonded gpu -pinoffset 0 -pinstride 1 -ntmpi 1 -ntomp 23 -gpu_id 0

实测STMV-GMX体系的模拟速度为15ns/day，高于4060Ti和2080Ti。详情参考8月文章。

GROMACS能够完全通过mdrun命令设定并行参数，因此不需要像前面LAMMPS那样添加环境变量。运行前应当确保OpenMP的环境变量已被unset。