python作业提交什么文件,python123怎么提交作业

大家好,给大家分享一下python作业提交什么文件,很多人还不知道这一点。下面详细解释一下。现在让我们来看看!

我有一个脚本,用于使用qsub向集群提交多个作业。qsub通常以表单的形式接受作业提交qsub [qsub options] job

在我的工作中,job通常是bash(.sh)或python脚本(.py),它实际调用要在每个节点上运行的程序或代码GPT改写。如果我想提交一个名为“test_job.sh”的工作,并且有最长的walltime,我会的qsub -l walltime=72:00:00 test_job.sh

这相当于以下python代码from subprocess import call

qsub_call = "qsub -l walltime=72:00:00 %s"

call(qsub_call % "test_job.sh", shell=True)

或者,如果你有一个bash脚本#!/bin/bash

filename="your_filename_here"

ifort -openmp ran_numbers.f90 $filename ompscmf.f90 -o scmf.o

然后通过qsub job.sh提交?

编辑:老实说,最佳的作业排队方案因集群而异。简化作业提交脚本的一个简单方法是找出每个节点上有多少CPU可用。一些较新的排队系统允许您提交多个单CPU作业,它们将尽可能少地在节点上一起提交这些作业;但是,一些较旧的集群不会这样做,因此提交多个单CPU作业是不可取的。

假设集群中的每个节点都有8个CPU。你可以像写剧本一样#!/bin/bash

#PBS -l nodes=1;ppn=8

for ((i=0; i<8; i++))

do

./myjob.sh filename_${i} &

done

wait

这样做的目的是一次在一个节点上提交8个作业(&表示在后台执行),并等待所有8个作业完成。对于每个节点有多个CPU的集群(例如,我使用的一个集群每个节点有48个CPU),这可能是最佳的。

或者,如果提交多个单核心作业是最佳的,而上面的提交代码不起作用,那么可以使用python生成bash脚本以传递给qsub。#!/usr/bin/env python

import os

from subprocess import call

bash_lines = ['#!/bin/bash\n', '#PBS -l nodes=1;ppn=1\n']

bash_name = 'myjob_%i.sh'

job_call = 'ifort -openmp ran_numbers.f90 %s ompscmf.f90 -o scmf.o &\n'

qsub_call = 'qsub myjob_%i.sh'

filenames = [os.path.join(root, f) for root, _, files in os.walk(directory)

for f in files if f.endswith('.txt')]

for i, filename in enumerate(filenames):

with open(bash_name%i, 'w') as bash_file:

bash_file.writelines(bash_lines + [job_call%filename, 'wait\n'])

call(qsub_call%i, shell=True)

猜你喜欢

转载自blog.csdn.net/mynote/article/details/133494231