在单个文件上使用多个 genfromtxt答案

【问题标题】：Using multiple genfromtxt on a single file在单个文件上使用多个 genfromtxt
【发布时间】：2016-04-16 05:11:06
【问题描述】：

我对 Python 还很陌生，目前在处理我的输入文件读取时遇到了问题。基本上我希望我的代码获取一个输入文件，其中相关信息包含在 4 行块中。对于我的特定目的，我只关心每个块的第 1-3 行中的信息。

我正在处理的输入的两块示例，如下所示：

#Header line 1
#Header line 2
'Mn 1',       5130.0059,  -2.765,  5.4052,  2.5,  7.8214,  1.5, 1.310, 2.390, 0.500, 8.530,-5.360,-7.630,
'  LS                                                                       3d6.(5D).4p z6F*'
'  LS                                                                       3d6.(5D).4d e6F'
'K07           A   Kurucz MnI 2007    1 K07       1 K07       1 K07       1 K07       1 K07       1 K07       1 K07       1 K07       1 K07     Mn            '
'Fe 2',       5130.0127,  -5.368,  7.7059,  2.5, 10.1221,  2.5, 1.030, 0.860, 0.940, 8.510,-6.540,-7.900,
'  LS                                                                     3d6.(3F2).4p y4F*'
'  LS                                                                           3d5.4s2 2F2'
'RU                Kurucz FeII 2013   4 K13       5 RU        4 K13       4 K13       4 K13       4 K13       4 K13       4 K13       4 K13     Fe+           '

我希望将这三行中的每一行的信息存储在单独的数组中。由于条目是字符串和浮点数的混合，我使用 Numpy.genfromtxt 来读取输入文件，如下所示：

import itertools
import numpy as np

with open(input_file) as f_in:
  #Opening file, reading every fourth line starting with line 2.
  data = np.genfromtxt(itertools.islice(f_in,2,None,4),dtype=None,delimiter=",")
  #Storing lower transition designation:
  low = np.genfromtxt(itertools.islice(f_in,3,None,4),dtype=str)
  #Storing upper transition designation:
  up = np.genfromtxt(itertools.islice(f_in,4,None,4),dtype=str)

执行代码后，genfromtxt 第一次正确读取文件中的信息。但是，对于 genfromtxt 的第二次和第三次调用，我收到以下警告

UserWarning: genfromtxt: Empty input file: "<itertools.islice object at 0x102d7a1b0>"
warnings.warn('genfromtxt: Empty input file: "%s"' % fname)

虽然这只是一个警告，但第二次和第三次调用 genfromtxt 返回的数组是空的，并且不包含预期的字符串。如果我注释掉 genfromtxt 的第二次和第三次调用，代码的行为与预期一样。

据我了解，以上内容应该可以正常工作，但我不知道为什么不可以。想法？

【问题讨论】：

标签： python numpy genfromtxt

【解决方案1】：

在第一个genfromtext（嗯，真的是islice）之后，文件迭代器已经到达文件末尾。因此警告和空数组：后两个 islice 调用使用的是空迭代器。

您需要使用f_in.readlines() 将文件逐行读入内存，就像hpaulj's answer 一样，或者在后续读取之前添加f_in.seek(0)，以将文件指针重置回输入的开头.这是一个对内存更友好的解决方案，如果这些文件真的很大，这可能很重要。

# Note: Untested code follows
with open(input_file) as f_in:
    np.genfromtxt(itertools.islice(f_in,2,None,4),dtype=None,delimiter=",")

    f_in.seek(0)  # Set the file pointer back to the beginning
    low = np.genfromtxt(itertools.islice(f_in,3,None,4),dtype=str)

    f_in.seek(0)  # Set the file pointer back to the beginning
    up = np.genfromtxt(itertools.islice(f_in,4,None,4),dtype=str)

【讨论】：

谢谢！那成功了。我没有考虑到迭代器在第一次调用 genfromtxt 时已经到达文件末尾

【解决方案2】：

试试这个：

with open(input_file) as f_in:
  #Opening file, reading every fourth line starting with line 2.
  lines = f_in.readlines()
  data = np.genfromtxt(lines[2::4],dtype=None,delimiter=",")
  #Storing lower transition designation:
  low = np.genfromtxt(lines[3::4],dtype=str)
  #Storing upper transition designation:
  up = np.genfromtxt(lines[4::4],dtype=str)

我没怎么用过islice，但itertools 往往是生成器，它会一直迭代到最后。重复调用它们时必须小心。您也许可以使islice 与tee 或repeat 一起工作。但我认为最简单的方法是获取行列表，并选择具有普通索引的相关行。

以tee 为例：

with open('myfile.txt') as f:
    its = itertools.tee(f,2)
    print(list(itertools.islice(its[0],0,None,2)))
    print(list(itertools.islice(its[1],1,None,2)))

现在文件被读取一次，但可以迭代两次。

【讨论】：