展平 NumPy 数组列表？

Question

看来我有 NumPy 数组列表格式的数据 (type() = np.ndarray)：

[array([[ 0.00353654]]), array([[ 0.00353654]]), array([[ 0.00353654]]), 
array([[ 0.00353654]]), array([[ 0.00353654]]), array([[ 0.00353654]]), 
array([[ 0.00353654]]), array([[ 0.00353654]]), array([[ 0.00353654]]), 
array([[ 0.00353654]]), array([[ 0.00353654]]), array([[ 0.00353654]]),
array([[ 0.00353654]])]

我正在尝试将它放入一个 polyfit 函数中：

m1 = np.polyfit(x, y, deg=2)

但是，它返回错误：TypeError: expected 1D vector for x

我假设我需要将我的数据扁平化为：

[0.00353654, 0.00353654, 0.00353654, 0.00353654, 0.00353654, 0.00353654 ...]

我尝试了一个通常适用于列表列表的列表理解，但正如预期的那样，这没有奏效：

[val for sublist in risks for val in sublist]

最好的方法是什么？

Answer 1

您可以使用numpy.concatenate，顾名思义，它基本上将此类输入列表的所有元素连接到单个 NumPy 数组中，就像这样 -

import numpy as np
out = np.concatenate(input_list).ravel()

如果你希望最终输出是一个列表，你可以像这样扩展解决方案 -

out = np.concatenate(input_list).ravel().tolist()

示例运行 -

In [24]: input_list
Out[24]: 
[array([[ 0.00353654]]),
 array([[ 0.00353654]]),
 array([[ 0.00353654]]),
 array([[ 0.00353654]]),
 array([[ 0.00353654]]),
 array([[ 0.00353654]]),
 array([[ 0.00353654]]),
 array([[ 0.00353654]]),
 array([[ 0.00353654]]),
 array([[ 0.00353654]]),
 array([[ 0.00353654]]),
 array([[ 0.00353654]]),
 array([[ 0.00353654]])]

In [25]: np.concatenate(input_list).ravel()
Out[25]: 
array([ 0.00353654,  0.00353654,  0.00353654,  0.00353654,  0.00353654,
        0.00353654,  0.00353654,  0.00353654,  0.00353654,  0.00353654,
        0.00353654,  0.00353654,  0.00353654])

转换为列表-

In [26]: np.concatenate(input_list).ravel().tolist()
Out[26]: 
[0.00353654,
 0.00353654,
 0.00353654,
 0.00353654,
 0.00353654,
 0.00353654,
 0.00353654,
 0.00353654,
 0.00353654,
 0.00353654,
 0.00353654,
 0.00353654,
 0.00353654]

Answer 2

也可以通过

np.array(list_of_arrays).flatten().tolist()

导致

[0.00353654, 0.00353654, 0.00353654, 0.00353654, 0.00353654, 0.00353654, 0.00353654, 0.00353654, 0.00353654, 0.00353654, 0.00353654, 0.00353654, 0.00353654]

---

更新

正如@aydow 在 cmets 中指出的那样，如果不关心获得copy or a view，使用numpy.ndarray.ravel 会更快

np.array(list_of_arrays).ravel()

虽然，根据docs

当需要在尽可能多的情况下查看视图时，arr.reshape(-1) 可能更可取。

换句话说

np.array(list_of_arrays).reshape(-1)

我的初步建议是使用numpy.ndarray.flatten，returns a copy every time会影响性能。

现在让我们看看上面列出的解决方案的时间复杂度如何比较使用perfplot 包进行类似于 OP 的设置

import perfplot

perfplot.show(
    setup=lambda n: np.random.rand(n, 2),
    kernels=[lambda a: a.ravel(),
             lambda a: a.flatten(),
             lambda a: a.reshape(-1)],
    labels=['ravel', 'flatten', 'reshape'],
    n_range=[2**k for k in range(16)],
    xlabel='N')

这里flatten 演示了分段线性复杂性，可以通过复制初始数组与返回视图的ravel 和reshape 的恒定复杂性进行比较来合理地解释这一点。

还值得注意的是，可以预见的是，将输出 .tolist() 转换为所有三个的性能均等线性。

Answer 3

另一种简单的方法是使用numpy.hstack()，然后使用squeeze() 删除单一维度，如下所示：

In [61]: np.hstack(list_of_arrs).squeeze()
Out[61]: 
array([0.00353654, 0.00353654, 0.00353654, 0.00353654, 0.00353654,
       0.00353654, 0.00353654, 0.00353654, 0.00353654, 0.00353654,
       0.00353654, 0.00353654, 0.00353654])

Answer 4

使用itertools 扁平化数组的另一种方式：

import itertools

# Recreating array from question
a = [np.array([[0.00353654]])] * 13

# Make an iterator to yield items of the flattened list and create a list from that iterator
flattened = list(itertools.chain.from_iterable(a))

这个解决方案应该非常快速，更多解释请参见https://stackoverflow.com/a/408281/5993892。

如果结果数据结构应该是 numpy 数组，请使用 numpy.fromiter() 将迭代器耗尽到数组中：

# Make an iterator to yield items of the flattened list and create a numpy array from that iterator
flattened_array = np.fromiter(itertools.chain.from_iterable(a), float)

itertools.chain.from_iterable() 的文档： https://docs.python.org/3/library/itertools.html#itertools.chain.from_iterable

numpy.fromiter() 的文档： https://docs.scipy.org/doc/numpy/reference/generated/numpy.fromiter.html

Answer 5

我遇到了同样的问题，并找到了一个结合可变长度的一维 numpy 数组的解决方案：

np.column_stack(input_list).ravel()

请参阅numpy.column_stack 了解更多信息。

带有示例数据的可变长度数组示例：

In [135]: input_list
Out[135]: 
[array([[ 0.00353654,  0.00353654]]),
 array([[ 0.00353654]]),
 array([[ 0.00353654]]),
 array([[ 0.00353654,  0.00353654,  0.00353654]])]

In [136]: [i.size for i in input_list]    # variable size arrays
Out[136]: [2, 1, 1, 3]

In [137]: np.column_stack(input_list).ravel()
Out[137]: 
array([ 0.00353654,  0.00353654,  0.00353654,  0.00353654,  0.00353654,
        0.00353654,  0.00353654])

注意：仅在 Python 2.7.12 上测试