针对在超算平台上运行Python任务的需求，其核心在于通过作业调度系统（如PBS、Slurm）将计算任务提交到计算节点。下面将提供一个完整的、可直接修改使用的Python脚本模板、详细的编写指南以及从提交到监控的完整流程。这些方法普遍适用于主流超算平台[ref_1][ref_2][ref_3][ref_4]。 ### PBS作业系统Python脚本模板 PBS（Portable Batch System）是一种常见的作业调度系统。以下脚本模板定义了计算资源请求、环境准备及任务执行。 ```bash #!/bin/bash -l # 1. PBS指令区：资源请求与作业属性 #PBS -N MyPythonJob #PBS -l nodes=1:ppn=8 #PBS -l walltime=02:00:00 #PBS -q workq #PBS -j oe #PBS -o output.log # 2. 环境与模块加载 cd $PBS_O_WORKDIR module purge module load anaconda3/2022.05 # 3. 激活特定Python环境（推荐使用虚拟环境） source activate my_env # 4. 执行Python脚本，使用所有请求的CPU核心 python -u my_python_script.py --cores $PBS_NP ``` **关键参数解析：** * `#PBS -N`：作业名称。 * `#PBS -l nodes=1:ppn=8`：请求1个计算节点，每个节点使用8个CPU核心[ref_2][ref_5]。 * `#PBS -l walltime=02:00:00`：设定作业最大运行时间为2小时，格式为`HH:MM:SS`，精确设置是避免作业被提前杀死的关键[ref_5]。 * `#PBS -q workq`：指定提交队列。 * `#PBS -j oe` 和 `-o`：合并标准错误与标准输出到指定日志文件。 * `$PBS_O_WORKDIR`：切换到作业提交时的目录。 * `module load`：加载必要的软件环境，如Python解释器或CUDA[ref_1][ref_6]。 ### SLURM作业系统Python脚本模板 Slurm是另一主流调度系统，尤其在GPU集群中常见[ref_4][ref_6]。 ```bash #!/bin/bash # 1. Slurm指令区 #SBATCH --job-name=PyTorchTrain #SBATCH --output=%j.out #SBATCH --error=%j.err #SBATCH --partition=gpu #SBATCH --nodes=1 #SBATCH --ntasks-per-node=1 #SBATCH --cpus-per-task=8 #SBATCH --gres=gpu:2 #SBATCH --time=01:30:00 #SBATCH --mem=16G # 2. 环境初始化 cd $SLURM_SUBMIT_DIR module load cuda/11.8 module load anaconda3 # 3. 激活虚拟环境 source activate dl_env # 4. 执行Python深度学习训练脚本 # 通过环境变量 $SLURM_CPUS_PER_TASK 和 $SLURM_GPUS_PER_NODE 将资源信息传递给Python程序 python -u train_model.py --gpus $SLURM_GPUS_PER_NODE --workers $SLURM_CPUS_PER_TASK ``` **关键参数解析：** * `--partition`：指定分区（队列），如`gpu`或`cpu`。 * `--gres=gpu:2`：请求2块GPU，这是深度学习任务的关键配置[ref_6]。 * `--cpus-per-task=8`：为单个任务分配8个CPU核心，常用于数据加载。 * `--time` 和 `--mem`：分别设置运行时间和内存上限。 ### 作业提交与管理命令 编写好脚本后（假设保存为`submit.pbs`或`submit.slurm`），需使用调度系统的命令进行提交与管理[ref_2][ref_5]。 | 操作 | PBS 命令 | Slurm 命令 | 说明 | | :--- | :--- | :--- | :--- | | **提交作业** | `qsub submit.pbs` | `sbatch submit.slurm` | 将作业提交到队列。 | | **查看作业状态** | `qstat -u $USER` 或 `qstat <job_id>` | `squeue -u $USER` 或 `squeue -j <job_id>` | 查看自己或特定作业的运行状态（排队`Q`、运行`R`、完成`C`等）。 | | **删除作业** | `qdel <job_id>` | `scancel <job_id>` | 终止指定作业。 | | **查看作业详情** | `qstat -f <job_id>` | `scontrol show job <job_id>` | 显示作业的详细资源配置和状态。 | | **查看输出** | 直接查看 `-o` 指定的日志文件。 | 使用 `cat slurm-<job_id>.out`。 | 作业运行期间或结束后查看输出和错误信息。 | ### Python脚本中的最佳实践 在超算环境中，您的`my_python_script.py`或`train_model.py`需要能够有效利用分配的硬件资源。 **1. 利用多核心进行并行计算：** 可以使用Python的`multiprocessing`模块或`joblib`库来利用PBS/Slurm请求的多个CPU核心[ref_5]。 ```python # my_python_script.py import sys import multiprocessing as mp def process_data(chunk): # 数据处理函数 return chunk * 2 if __name__ == '__main__': # 从环境变量获取可用的核心数 try: num_cores = int(sys.argv[sys.argv.index('--cores') + 1]) except: num_cores = mp.cpu_count() # 回退到系统核心数 data = list(range(1000)) print(f"Using {num_cores} cores for parallel processing.") with mp.Pool(processes=num_cores) as pool: results = pool.map(process_data, data) ``` **2. 多GPU深度学习训练：** 对于PyTorch，可以使用`torch.nn.DataParallel`或`torch.nn.parallel.DistributedDataParallel`来利用多GPU[ref_6]。 ```python # train_model.py import torch import argparse parser = argparse.ArgumentParser() parser.add_argument('--gpus', type=int, default=1) args = parser.parse_args() if torch.cuda.is_available(): device_ids = list(range(args.gpus)) model = MyModel().cuda() if args.gpus > 1: model = torch.nn.DataParallel(model, device_ids=device_ids) print(f"Training on {args.gpus} GPUs: {device_ids}") ``` ### 环境配置与数据管理 * **虚拟环境**：强烈建议使用Conda在个人目录下创建独立的Python环境，避免与系统Python冲突[ref_1][ref_3]。 ```bash # 登录节点操作 module load anaconda3 conda create -n my_env python=3.9 conda activate my_env pip install -r requirements.txt ``` * **文件系统**：了解超算的存储架构，如家目录（空间小但安全）、工作目录（空间大但可能定期清理）和高速暂存目录（用于作业运行时I/O密集型操作），并将数据存放在合适的位置[ref_4]。 ### 常见问题与调试 1. **作业排队不运行**：检查请求的资源（如GPU、大内存）是否超过队列限制，或尝试缩短`walltime`或使用更低优先级的队列[ref_5]。 2. **作业运行失败**：首先检查作业输出日志（`.out`或`.err`文件），常见的错误包括模块未加载、Python依赖缺失、文件路径错误或内存超限[ref_4][ref_5]。 3. **提高资源利用率**：对于多节点并行任务（如MPI），需要在脚本中正确加载MPI模块并调用`mpirun`或`srun`来启动[ref_2][ref_6]。