Python：将数据从多个文件读入二维 numpy 数组或列表的方法

Question

我有n 个文件，我想从每个文件中特定行的m 个列中读取数据。我想得到一个n by m 列表或数组，其中列表或数组的每一行都是其中一个文件中的一行。有什么方法可以做到这一点？或者这甚至是最好的方法吗？我可以定义m 不同的列表或数组（每个都有相似的名称，可能只是用数字索引）但是处理几个不同的列表或数组似乎比处理一个二维的列表或数组更困难和复杂。

比如……

file_names = ( "file1" "file2" "file3" "file4" ) # so in this case n is 4
for name in file_names do:
    ###  somehow save the m columns as a row in an array or list
print resulting_list_or_array

一些可能相关的注释：我想从文件中读取的m 列不是文件中的第一个m 列（假设我需要跳过skip_num 列，我确实知道@ 987654330@ 和 m 是。

另外，我要读取的行不是第一行，而是row_num 行。

Answer 1

您可以使用内置模块glob 和numpy.genfromtxt 编写通用代码，如下例所示，其中许多test*.txt 文件的第二行将在末尾构建一个二维数组：

from glob import glob

import numpy as np

def read(fname, skip_header=1):
    with open(fname) as f:
        for i in range(skip_header):
            f.next()
        return f.next()

a = np.genfromtxt((read(fname) for fname in glob('test*.txt')))

Answer 2

您的问题似乎很明确

result = []

file_names = ("file1", "file2", "file3", "file4")
for name in file_names do:
    f = open(name)
    for i, line in enumerate(f):
        if i == 122: # note this will be line_no + 1
            data = line.strip().split()
            result.append([data[0], data[5], data[6], data[9]])

print result # a dynamically created 2D array