使用 subprocess.call 从 Python 中调用 awk 的问题

Question

在 Python 中调用 awk 时遇到一些问题。通常，我会执行以下操作以从命令行调用 awk 中的命令。

1. 打开命令行，无论是否处于管理员模式。
2. 把我的目录改成awk.exe，即cd R\GnuWin32\bin
3. 致电awk -F "," "{ print > (\"split-\" $10 \".csv\") }" large.csv

我的命令用于将large.csv文件根据第10列拆分成若干个名为split-[COL VAL HERE].csv的文件。我运行这个命令没有问题。我尝试使用 subprocess.call() 在 Python 中运行相同的代码，但我遇到了一些问题。我运行以下代码：

def split_ByInputColumn():
     subprocess.call(['C:/R/GnuWin32/bin/awk.exe', '-F', '\",\"', 
              '\"{ print > (\\"split-\\" $10 \\".csv\\") }\"', 'large.csv'],
                  cwd = 'C:/R/GnuWin32/bin/')

很明显，当我执行函数（CPU 使用率等）时，有些东西正在运行，但是当我去检查 C:/R/GnuWin32/bin/ 时，目录中没有拆分文件。知道出了什么问题吗？

Answer 1

正如我在之前被否决的回答中所说，您过度保护了参数，导致 awk 参数解析失败。

由于没有评论，我认为有一个错字，但它起作用了......所以我想这是因为我应该强烈建议一个成熟的 python 解决方案，这是最好的做法（如在我之前的回答）

在 python 中编写等价物并非易事，因为我们必须模拟 awk 打开文件并随后附加到文件的方式。但如果在输入文件中出现引用，它更加集成、pythonic 并且可以正确处理引用。

我花时间编写代码并对其进行测试：

def split_ByInputColumn():
    # get rid of the old data from previous runs
    for f in glob.glob("split-*.csv"):
        os.remove(f)

    open_files = dict()

    with open('large.csv') as f:
        cr = csv.reader(f,delimiter=',')
        for r in cr:
            tenth_row = r[9]
            filename = "split-{}.csv".format(tenth_row)
            if not filename in open_files:
                handle = open(filename,"wb")
                open_files[filename] = (handle,csv.writer(handle,delimiter=','))
            open_files[filename][1].writerow(r)

    for f,_ in open_files.values():
        f.close()

split_ByInputColumn()

详细说明：

• 将大文件读取为csv（优点：引用处理得当）
• 计算目标文件名
• 如果文件名不在字典中，打开它并创建csv.writer对象
• 在对应的字典中写入行
• 最后，关闭文件句柄

旁白：我的旧解决方案，正确使用awk：

import subprocess

def split_ByInputColumn():
     subprocess.call(['awk.exe', '-F', ',',
              '{ print > ("split-" $10 ".csv") }', 'large.csv'],cwd = 'some_directory')

Answer 2

其他人发布了一个答案（然后随后将其删除），但问题是我过度保护了我的论点。以下代码有效：

def split_ByInputColumn():
 subprocess.call(['C:/R/GnuWin32/bin/awk.exe', '-F', ',', 
          '{ print > (\"split-\" $10 \".csv\") }', 'large.csv'],
              cwd = 'C:/R/GnuWin32/bin/')