如何在另一个目录中运行 python 脚本，而不将脚本写入磁盘？

Question

假设我有两个 python 脚本 methods.py 和 driver.py。 methods.py 定义了所有方法，driver.py 在我运行它时完成了所需的工作。

假设我在包含两个文件driver.py 和methods.py 的主目录中，并且我在主目录中有n 子目录，名为subdir1,subdir2,...,subdirn .所有这些子目录都有作为driver.py 输入的文件。

我要做的是在所有这些子目录中运行 driver.py 并从中获取我的输出，而不将 driver.py 写入磁盘。

我应该怎么做？ 目前，我正在使用 subprocess 模块来

1. 将 driver.py 和 methods.py 复制到子目录中。
2. 运行它们。

复制部分很简单：

import subprocess

for i in range(n):
  cmd = "cp methods.py driver.py subdir"+str(i)
  p = subprocess.Popen(cmd, shell=True)
  p.wait()

#once every subdirectory has driver.py and methods.py, start running these codes 

for i in range(n):
  cmd = "cd subdir" + str(i) +" && python driver.py"
  p = subprocess.Popen(cmd, shell=True)
  p.wait()

有没有办法在不占用磁盘空间的情况下完成上述操作？

Answer 1

扩展my initial comment，而不是到处复制driver.py，你可以让它接受一个子目录的路径作为命令行参数。然后，您还必须确保它可以从任何目录执行它应该执行的任何操作。这意味着要考虑文件的正确路径。

有多种方法可以接受命令行参数（请参阅How to read/process command line arguments?）。为简单起见，我们只使用sys.args 来获取路径。

这是一个修改后的 driver.py

import sys
from pathlib import Path

# Receive the path to the target subdir as command line args
try:
    subdir_path = Path(sys.argv[1]).resolve()
except Exception as e:
    print('ERROR resolving path to subdir')
    print(e)
    sys.exit(1)

# Do stuff, taking into account full path to subdir
print(f'Running driver on {subdir_path}')
with open(subdir_path.joinpath('input.txt'), 'r') as f:
    data = f.read()
    print(f'Got data = {data}')

假设在获取路径后，driver.py 期望从每个子目录中读取一个文件 (input.txt)。所以在这里你需要获取子目录的绝对路径 (.resolve()) 并在访问 input.txt (.joinpath()) 时使用它。基本上，认为 driver.py 将始终从 ma​​in 目录运行。

示例用法如下：

main$ tree
.
├── driver.py
├── method.py
├── subdir1
│   └── input.txt
├── subdir2
│   └── input.txt
└── subdir3
    └── input.txt

main$ python driver.py /temp/main/subdir3
Running driver on /temp/main/subdir3
Got data = 3333

现在，在 method.py 中，您不需要“复制 driver.py”代码。只需遍历 ma​​in 下的所有 subdir{n} 文件夹，然后将完整路径传递给 driver.py。您仍然可以使用相同的 Popen(...) 代码调用 driver.py。

这是一个修改后的method.py：

import subprocess
from pathlib import Path

# Assume all subdirs are under the current directory
parent_path = Path.cwd()

for child_path in parent_path.iterdir():
    # Skip files/folders not named 'subdir{n}'
    if not child_path.is_dir() or 'subdir' not in child_path.stem:
        continue

    # iterdir returns full paths (cwd + /subdir)
    print(f'Calling driver.py on {child_path}')

    cmd = f'python driver.py {child_path}'
    p = subprocess.Popen(cmd, shell=True)
    p.wait()

示例运行：

main$ python method.py 
Calling driver.py on /temp/main/subdir3
Running driver on /temp/main/subdir3
Got data = 3333

Calling driver.py on /temp/main/subdir2
Running driver on /temp/main/subdir2
Got data = 2222

Calling driver.py on /temp/main/subdir1
Running driver on /temp/main/subdir1
Got data = 1111

还要注意所有的执行都是从 main 完成的。

一些注意事项：

• 您可以使用iterdir 或其等效的os.listdir 来获取基本路径下的所有文件/文件夹，而不是硬编码range(n)，这应该可以方便地返回绝对路径。除非您需要按特定顺序浏览子目录。
• 我更喜欢使用pathlib 而不是os.path，因为它为文件/文件夹路径提供了更多高级抽象。如果你想或需要使用os.path，有这个table of os.path - pathlib equivalents。
• 我在这里使用了 f 字符串（参见 What is print(f"...")），它仅适用于 Python 3.6+。如果您使用的是较低版本，只需替换为任何其他字符串格式化方法即可。

Answer 2

你可以使用 python 的 os.chdir() 函数来改变当前的工作目录：

import os
#import methods

root = os.getcwd()

for d in ['subdir1', 'subdir2']:
  os.chdir(os.path.join(root, d))
  print("dir:", os.getcwd())
  exec(open("../driver.py").read())

我也不确定你是否需要 popen，因为 python 能够使用 exec 函数执行 python 文件。在这种情况下，这取决于您如何导入 methods.py。您是简单地导入它还是在 driver.py 中以其他方式使用它？
您可以尝试在主脚本内的顶层导入它或使用扩展路径，例如：

exec(open("../methods.py").read())

在您的驱动程序脚本中。请记住，这些解决方案都不是很优雅。最好按照 Gino Mempin 的建议处理您的 driver.py 内部的路径。你可以从那里调用 os.chdir()。