如何使用子进程和'cat'逐行读取数据？

Question

我无法理解如何使用subprocess 解决我的问题。

假设我的子目录中有一个制表符分隔的文本文件tabdelimited1.txt，我想将其读入熊猫数据框。

当然，您可以按如下方式简单地导入数据：

import pandas as pd
df = pd.read_csv("tabdelimited1.txt", header=None, sep="\s+")

但是，假设我们想使用subprocess。在命令行中，$cat tabdelimited1.txt 将输出所有行。

现在，我想使用子进程来读取cat tabdelimited1.txt 的输出。如何做到这一点？

我们可以使用

import subprocess
task = subprocess.Popen("cat file.txt", shell=True,  stdout=subprocess.PIPE)
data = task.stdout.read()

但是 (1) 我收到 shell=True 的错误和 (2) 我想逐行读取数据。

如何使用subprocess 逐行读取tabdelimited1.txt？脚本应如下所示：

import subprocess
import pandas as pd

df = pd.DataFrame()
task = subprocess.Popen("cat file.txt", shell=True,  stdout=subprocess.PIPE)
# while lines exist:
    # line = subprocess std
    df=pd.concat([df, line])

已编辑

Answer 1

您可以通过将命令分解为列表来完全跳过 shell。那么它只是迭代流程标准输出的问题：

import subprocess
import pandas as pd

df = pd.DataFrame()
task = subprocess.Popen(["cat", "file.txt"], stdout=subprocess.PIPE)
for line in task.stdout:
    df=pd.concat([df, line])
task.wait()

Answer 2

import sys
for line in sys.stdin:
    print(line.split())

可以与 shell 命令一起使用，例如：

0025:~/mypy$ cat x.txt | python3 stack39864304.py
['1', '3', 'test1;']
['2', '2', 'test2;']
['3', '2', 'test3;']

否则在交互式会话中我可以这样做：

In [269]: task = subprocess.Popen("cat x.txt", shell=True,  stdout=subprocess.PIPE)
In [270]: for line in task1.stdout:print(line.split())
[b'1', b'3', b'test1;']
[b'2', b'2', b'test2;']
[b'3', b'2', b'test3;']

(py3 字节串)

python3 stack39864304.py < x.txt 是将此文件发送到脚本的另一种方式。

cat afile | ... 可能太简单了，并提出所有关于为什么不直接阅读的反对意见。但是cat 可以替换为head、tail 甚至ls -l | python3 stack39864304.py 以获取带有此split 的目录列表。

我的大部分交互式 python 编码都使用ipython；它的许多%magic 使用子流程；我在本次会议中一直使用cat x.txt、ls。