np.loadtxt 用于具有许多矩阵的文件答案

【问题标题】：np.loadtxt for a file with many matrixesnp.loadtxt 用于具有许多矩阵的文件
【发布时间】：2017-06-30 20:19:59
【问题描述】：

我有一个看起来像这样的文件：

some text
the grids are 
       3 x 3

more text

matrix marker 1 1
3 2 4
7 4 2
9 1 1

new matrix  2 4
9 4 1
1 3 4
4 3 1

new matrix  3 3
7 2 1
1 3 4
2 3 2

.. 文件继续，几个 3x3 矩阵以相同的方式出现。每个矩阵都以具有唯一 ID 的文本开头，尽管 ID 对我来说并不是特别重要。我想创建这些矩阵的矩阵。我可以使用 loadtxt 来做到这一点吗？

这是我最好的尝试。此代码中的 6 可以替换为从 6 开始并按矩阵中的行数递增的迭代变量。我以为skiprows 会接受一个列表，但显然它只接受整数。

np.loadtxt(fl, skiprows = [x for x in range(nlines) if x not in (np.array([1,2,3])+ 6)])

TypeError                                 Traceback (most recent call last)
<ipython-input-23-7d82fb7ef14a> in <module>()
----> 1 np.loadtxt(fl, skiprows = [x for x in range(nlines) if x not in (np.array([1,2,3])+ 6)])

/usr/local/lib/python2.7/site-packages/numpy/lib/npyio.pyc in loadtxt(fname, dtype, comments, delimiter, converters, skiprows, usecols, unpack, ndmin)
    932 
    933         # Skip the first `skiprows` lines
--> 934         for i in range(skiprows):
    935             next(fh)
    936

【问题讨论】：

一个电话是做不到的。我建议使用您自己的文件readlines 读取该文件，并将简单的数字块（具有一致列数的行）传递给loadtxt，甚至直接解析它们。那些由 9 个数字组成的块应该很容易解析。
@hpaulj 如何将数字块传递给loadtxt？您的建议基本上就是我在发布的尝试中尝试做的事情。
另外，请记住这是一个简化的问题。我的真实案例有 30x30 矩阵。
尝试传递一个字符串/行列表。

标签： python numpy matrix

【解决方案1】：

也许我误解了，但如果你能匹配 3x3 矩阵之前的行，那么你可以创建一个生成器来提供给loadtxt：

import numpy as np

def get_matrices(fs):
    while True:
        line = next(fs)
        if not line:
            break
        if 'matrix' in line: # or whatever matches the line before a matrix
            yield next(fs)
            yield next(fs)
            yield next(fs)


with open('matrices.dat') as fs:
    g = get_matrices(fs)
    M = np.loadtxt(g)

M = M.reshape((M.size//9, 3, 3))
print(M)

如果你喂它：

some text
the grids are 
       3 x 3

more text

matrix marker 1 1
3 2 4
7 4 2
9 1 1

new matrix  2 4
9 4 1
1 3 4
4 3 1

new matrix  3 3
7 2 1
1 3 4
2 3 2

new matrix  7 6
1 0 1
2 0 3
0 1 2

你得到一个矩阵数组：

[[[ 3.  2.  4.]
  [ 7.  4.  2.]
  [ 9.  1.  1.]]

 [[ 9.  4.  1.]
  [ 1.  3.  4.]
  [ 4.  3.  1.]]

 [[ 7.  2.  1.]
  [ 1.  3.  4.]
  [ 2.  3.  2.]]

 [[ 1.  0.  1.]
  [ 2.  0.  3.]
  [ 0.  1.  2.]]]

或者，如果您只想 yield 所有看起来可能是 3x3 整数矩阵中的行的行，请匹配正则表达式：

import re

def get_matrices(fs):
    while True:
        line = next(fs)
        if not line:
            break
        if re.match('\d+\s+\d+\s+\d+', line):
            yield line

【讨论】：

【解决方案2】：

您需要更改处理工作流程以使用以下步骤：首先，提取与所需矩阵对应的子字符串，然后调用numpy.loadtxt。要做到这一点，一个很好的方法是：

查找以re 开头和结尾的矩阵。
在该范围内加载矩阵
重置您的范围并继续。

您的矩阵标记似乎多种多样，因此您可以使用如下正则表达式：

start = re.compile("\w+\s+matrix\s+(\d+)\s+(\d+)\n")
end = re.compile("\n\n")

然后，您可以找到开始/结束对，然后为每个矩阵加载文本：

import io
import numpy as np

# read our data
data = open("/path/to/file.txt").read()

def load_matrix(data, *args):
    # find start and end bounds
    s = start.search(data)
    if not s:
        # no matrix leftover, return None
        return None
    e = end.search(data, s.end())
    e_index = e.end() if e else len(data)

    # load text
    buf = io.StringIO(data[s.end(): e_index])
    matrix = np.loadtxt(buf, *args)    # add other args here

    # reset our buffer
    data = data[e_index:]

    return matrix

想法

在这种情况下，我用于矩阵开头的正则表达式标记具有用于矩阵维度的捕获组(\d+)，因此如果您愿意，您可以获得矩阵的MxN 表示。列出项目然后我还会在行中搜索带有单词“matrix”的项目，其中包含任意前导文本和最后由空格分隔的两个数字。

我的结尾匹配是两个“\n\n”组，或两个换行符（如果您有 Windows 行尾，您可能还需要考虑“\r”）。

自动化

现在我们有办法找到单个案例，您需要做的就是迭代它并填充矩阵列表，同时您仍然可以获得匹配项。

matrices = []

# read our data
data = open("/path/to/file.txt").read()

while True:
    result = load_matrix(data, ...)     # pass other arguments to loadtxt
    if not result:
        break
    matrices.append(result)

【讨论】：