【发布时间】:2012-04-12 12:05:30
【问题描述】:
我编写了一个小的 Python (2.7.2+) 模块(称为TWProcessing),可以说是一个临时的批处理管理器。它的工作方式是我将一长串命令传递给它,然后它将并行运行,但限制了同时处理的总数。这样,如果我想运行 500 个命令,它将遍历所有命令,但一次只运行 X 个命令,以免压倒机器。声明此批处理管理器的实例时可以轻松设置 X 的值(该类称为TWBatchManager):
batch = TWProcessing.TWBatchManager(MaxJobs=X)
然后我以非常直接的方式向该对象添加工作列表:
batch.Queue.append(/CMD goes here/)
其中Queue 是批处理管理器将运行的命令列表。当队列被填满后,我调用Run() 循环所有命令,一次只运行X:
batch.Run()
到目前为止,一切正常。现在我想做的是能够动态地更改 X 的值(即一次运行的最大进程数),即在进程仍在运行时。我这样做的旧方法相当简单。我有一个名为 MAXJOBS 的文件,该类会知道查看该文件,并且如果它存在,它将定期检查它以查看所需的值是否已更改。现在我想尝试一些更优雅的东西。我希望能够在启动包含批处理管理器的脚本的 bash shell 中编写类似于export MAXJOBS=newX 的内容,并让批处理管理器意识到这是它现在应该使用的 X 的值。显然os.environ['MAXJOBS'] 不是我要找的,因为这是一个在启动时加载的字典。 os.getenv('MAXJOBS') 也没有削减它,因为 export 只会影响从那时起 shell 将产生的子进程。所以我需要一种方法来回到启动我的 python 脚本的父进程的环境。我知道os.ppid 会给我父 pid,但我不知道如何从那里到达父环境。我在 interwebz 上四处寻找,看看是否有一种方法可以让父 shell 修改子进程环境,我发现人们倾向于坚持我不要尝试这样的事情,以免我准备做一些电脑能做的最丑陋的事情之一。
关于如何实现这一点的任何想法?当然,我的“从标准文本文件中读取”的想法并不难看,但我是 Python 新手,因此我试图挑战自己以优雅和干净的方式做事,尽可能多地学习。提前感谢您的帮助。
【问题讨论】:
标签: python bash environment-variables python-2.7