Python导入文本文件，其中每行具有不同的列数答案

【问题标题】：Python import text file where each line has different number of columnsPython导入文本文件，其中每行具有不同的列数
【发布时间】：2016-09-18 04:40:07
【问题描述】：

我是 python 新手，我正在尝试弄清楚如何加载包含每个时间步长的数据块的数据文件，例如：

TIME:,0
Q01 : A:,-10.7436,0.000536907,-0.00963283,0.00102934
Q02 : B:,0,0.0168694,-0.000413983,0.00345921
Q03 : C:,0.0566665
Q04 : D:,0.074456
Q05 : E:,0.077456
Q06 : F:,0.0744835
Q07 : G:,0.140448
Q08 : H:,-0.123968
Q09 : I:,0
Q10 : J:,0.00204377,0.0109621,-0.0539183,0.000708574
Q11 : K:,-2.86115e-17,0.00947104,0.0145645,1.05458e-16,-1.90972e-17,-0.00947859
Q12 : L:,-0.0036781,0.00161254
Q13 : M:,-0.00941257,0.000249692,-0.0046302,-0.00162387,0.000981709,-0.0135982,-0.0223496,-0.00872062,0.00548815,0.0114075,.........,-0.00196206
Q14 : N:,3797, 66558
Q15 : O:,0.0579981
Q16 : P:,0
Q17 : Q:,625

TIME:,0.1
Q01 : A:,-10.563,0.000636907,-0.00963283,0.00102934
Q02 : B:,0,0.01665694
Q03 : C:,0.786,-0.000666,0.6555
Q04 : D:,0.87,0.96
Q05 : E:,0.077456
Q06 : F:,0.07447835
Q07 : G:,0.140448
Q08 : H:,-0.123968
Q09 : I:,0
Q10 : J:,0.00204377,0.0109621,-0.0539183,0.000708574
Q11 : K:,-2.86115e-17,0.00947104,0.0145645,1.05458e-16,-1.90972e-17,-0.00947859
Q12 : L:,-0.0036781,0.00161254
Q13 : M:,-0.00941257,0.000249692,-0.0046302,-0.00162387,0.000981709,-0.0135982,-0.0223496,-0.00872062,0.00548815,0.0114075,.........,-0.00196206
Q14 : N:,3797, 66558
Q15 : O:,0.0579981
Q16 : P:,0,2,4
Q17 : Q:,786

每个块都包含许多变量，这些变量中的数据列数可能非常不同。每个时间步长块中每个变量的列数可能会发生变化，但是每个时间步长中每个块的变量数是相同的，并且始终知道导出了多少变量。数据文件中没有关于数据块数（时间步长）的信息。

读取数据后，应以每个时间步长的变量格式加载：

Time:  |  A:                                           |  B:
0      |  -10.7436,0.000536907,-0.00963283,0.00102934  |  ........
0.1    |  -10.563,0.000636907,-0.00963283,0.00102934   |  ........
0.2    |  ......                                       |  ........

如果每个时间步的数据列数相同，并且每个变量都相同，这将是一个非常简单的问题。

我想我需要逐行读取文件，在两个循环中，每个块一个，然后在每个块内一次，然后将输入存储在一个数组中（追加？）。由于我对 python 和 numpy 还不是很熟悉，所以每行不断变化的列数让我有点难过。

如果有人可以为我指出正确的方向，例如我应该使用哪些功能来相对有效地执行此操作，那就太好了。

【问题讨论】：

看这里：stackoverflow.com/questions/15242746/…
@Dot_Py 谢谢，但该解决方案似乎取决于知道我不知道的最大列数。那里的最后一个答案有一个循环，但似乎不起作用。
哦等等...你不知道列数？我认为这不是一个好习惯...所以您应该重新考虑/重新设计您的数据库方案，以在必要时添加更多行...而不是列。
但您可以遍历行并计算“，”出现次数以获得整个 .txt 中的最大列数 (num_max_cols)，然后您可以使用 " range(num_max_cols)"
我不同意@Dot_Py 的说法，不知道输入中将出现的列没有问题。我认为您的问题的答案是填充字典对象。我已经写了一个答案，说明我会怎么做

标签： python csv numpy import scipy

【解决方案1】：

文件 test.csv：

1,2,3
1,2,3,4
1,2,3,4,5
1,2
1,2,3,4

处理数据：

my_cols = ["A", "B", "C", "D", "E"]
pd.read_csv("test.csv", names=my_cols, engine='python')

输出：

   A  B   C   D   E
0  1  2   3 NaN NaN
1  1  2   3   4 NaN
2  1  2   3   4   5
3  1  2 NaN NaN NaN
4  1  2   3   4 NaN

或者你可以使用names 参数。

例如：

1,2,1
2,3,4,2,3
1,2,3,3
1,2,3,4,5,6

如果您阅读它，您将收到以下错误：

>>> pd.read_csv(r'D:/Temp/test.csv')
Traceback (most recent call last):
...
Expected 5 fields in line 4, saw 6

但是如果你传递names 参数，你会得到结果：

>>> pd.read_csv(r'D:/Temp/test.csv', names=list('ABCDEF'))

输出：

   A  B  C   D   E   F
0  1  2  1 NaN NaN NaN
1  2  3  4   2   3 NaN
2  1  2  3   3 NaN NaN
3  1  2  3   4   5   6

希望对你有帮助。

【讨论】：

再次感谢，但这不适用于我的数据 - 我永远不会知道每个块将存在多少列数据，我只知道每个块中有多少变量（行）时间步长块。

【解决方案2】：

实现这一点的一种非常简单的方法是读取文本文件并在浏览时创建dict 结构。这是一个可能实现您的目标的示例（基于您提供的输入）：

time = 0
output = {}
with open('path_to_file','r') as input_file:
    for line in input_file:
        line = line.strip('\n')
        if 'TIME' in line:
            time = line.split(',')[1]
            output[time] = {}
        else:
            col_name = line.split(':')[1].strip()
            col_value = line.split(':')[2].strip(',') 
            output[time][col_name] = col_value

这将传递一个output 对象，它是一个具有以下结构的字典：

output = {
'0': {'A': '-10.7436,0.000536907,-0.00963283,0.00102934',
      'B': '0,0.0168694,-0.000413983,0.00345921',
      ...
      'Q': '625'},

'0.1': {'A': '-10.563,0.000636907,-0.00963283,0.00102934',
        'B': '0,0.01665694',
        ...
        'Q': '786'}
}

我认为这与您正在寻找的内容相匹配。要访问此字典中的一个值，您应该使用 value = output['0.1']['A'] 这将产生 '-10.563,0.000636907,-0.00963283,0.00102934'

【讨论】：

是的，这主要按我的预期工作。时间字典中有一个愚蠢的 \n 标记，但可以整理出来。我没有考虑过字典，因为我将进行大量数组操作，但我假设如果需要，我可以简单地将字典调用转换为 numpy 数组。
啊，是的。我已经编辑了答案以包含一行来解决这个问题。请注意，在代码的最后一行中，我建议您确切地知道自己在哪里（时间、列名和列值）。如果需要，您可以轻松更改最后一行以将此数据放入任何其他结构中。
嗯，我在数据文件上尝试时遇到此错误： Traceback（最近一次调用最后一次）：文件“”，第 14 行，在 res[TIME][parts[1].lstrip()] = parts[2].strip(',') IndexError: 列表索引超出范围。我需要一些时间来检查原因，但感谢到目前为止的帮助！

【解决方案3】：

import pandas as pd
res = {}
TIME = None

# by default lazy line read
for line in open('file.txt'):
    parts = line.strip().split(':')
    map(str.strip, parts)
    if len(parts) and parts[0] == 'TIME':
        TIME = parts[1].strip(',')
        res[TIME] = {}
        print('New time section start {}'.format(TIME))
        # here you can stop and work with data from previou period
        continue

    if len(parts) <= 1:
        continue
    res[TIME][parts[1].lstrip()] = parts[2].strip(',').split(',')

df = pd.DataFrame.from_dict(res, 'columns')
# for example for TIME 0
dfZero = df['0']
print(dfZero)


df = pd.DataFrame.from_dict(res, 'index')

dfA = df['A']
print(dfA)

【讨论】：

谢谢，这似乎工作得很好，没有任何错误。我需要用一些适当的数据文件对其进行测试，看看它是如何支撑的。
如果我想访问所有时间步长的变量 A 怎么办？数据框似乎只允许我访问单个时间步长的所有变量？
@jpmorr 您可以更改 df = pd.DataFrame.from_dict(res, 'index') 或 df = pd.DataFrame.from_dict(res, 'columns')，请参阅示例。跨度>

【解决方案4】：

这个阅读器类似于@Lucas's - 每个块都是一个字典，保存在元字典中，以时间为键。它可能是一个列表。

blocks = {}
with open('stack37354745.txt') as f:
    for line in f:
        line = line.strip()
        if len(line)==0: continue  # blank line
        d = line.split(':')
        if len(d)==2 and d[0]=='TIME':  # new block
            time = float(d[1].strip(','))
            blocks[time] = data = {}
        else:
           key = d[1].strip()  # e.g. A, B, C
           value = d[2].strip(',').split(',')
           value = np.array(value, dtype=float) # assume valid numeric list
           data[key] = value

可以通过以下迭代来获取、显示和重新组织值：

for time in blocks:
    b = blocks[time]
    print('TIME: %s'%time)
    for k in b:
        print('%4s: %s'%(k,b[k]))

产生：

TIME: 0.0
   C: [ 0.0566665]
   G: [ 0.140448]
   A: [ -1.07436000e+01   5.36907000e-04  -9.63283000e-03   1.02934000e-03]
   ...
   K: [ -2.86115000e-17   9.47104000e-03   1.45645000e-02   1.05458000e-16
  -1.90972000e-17  -9.47859000e-03]

TIME: 0.1
   C: [  7.86000000e-01  -6.66000000e-04   6.55500000e-01]
   G: [ 0.140448]
   A: [ -1.05630000e+01   6.36907000e-04  -9.63283000e-03   1.02934000e-03]
   ...
   K: [ -2.86115000e-17   9.47104000e-03   1.45645000e-02   1.05458000e-16
  -1.90972000e-17  -9.47859000e-03]

（我从其中一条数据线上删除了....）

或者是准表格形式

fmt = '%10s | %s | %s | %s'
print(fmt%('Time','B','D','E'))
for time in blocks:
    b =  blocks[time]
    # print(list(b.keys()))
    print(fmt%(time, b['B'], b['D'],b['E']))

制作：

      Time | B | D | E
       0.0 | [ 0.          0.0168694  -0.00041398  0.00345921] | [ 0.074456] | [ 0.077456]
       0.1 | [ 0.          0.01665694] | [ 0.87  0.96] | [ 0.077456]

由于像B 这样的变量可以有不同的长度，因此很难将值作为某种二维数组来收集。

一般来说，最简单的方法是首先将文件加载到某种 Python 结构中。这种操作几乎必须用 Python 编写，逐行迭代（除非您让pandas 为您完成）。

完成后，您可以通过多种不同方式重新组织日期以满足您的需求。有了这个变量，以矩形numpy 数组为目标是没有意义的。

【讨论】：