是否有一种将零列和行插入 numpy 数组的内存有效方法？

Question

我有一个大的（对称的）numpy 矩阵arr。它的形状为arr.shape = (50_000, 50_000)。我想插入一些零行/列（以对称方式）。假设我要插入的行数/列数可能是123。

小例子

import numpy as np

# Create symmetric square matrix
size = 3
arr = np.array(list(range(size**2))).reshape(size, size)
arr = arr + arr.T

# insert zero columns
# Each "1" represents a column from the original matrix, e.g.
# the first 1 is the first column of arr, the second 1 the second column of arr
# and so on
insert_cols = [1, 0, 0, 1, 0, 1, 0, 0]

# insert the zero rows / columns
current_index = 0
for col in insert_cols:
    if col == 0:
        arr = np.insert(arr, current_index, 0, axis=0)
        arr = np.insert(arr, current_index, 0, axis=1)
    current_index += 1

print(arr)

如果我对np.insert 的理解正确，那么这段代码会创建数组的副本并一直复制内容。

问题

我认为使用sparse matrix classes 之一可能会更简单/更有效？还有其他方法可以提高效率吗？

Answer 1

鉴于insert_cols，我们可以做这样的事情-

n = len(insert_cols)
out = np.zeros((n,n),arr.dtype)
idx = np.flatnonzero(insert_cols)
out[np.ix_(idx,idx)] = arr # or out[idx[:,None],idx] = arr

或者，使用布尔版本进行索引。因此-

insert_cols_bool = np.asarray(insert_cols, dtype=bool)

然后，使用insert_cols_bool 代替idx。

---

稀疏矩阵

为了更节省内存，我们可以将输出存储为稀疏矩阵 -

from scipy.sparse import coo_matrix

l = len(idx)
r,c = np.broadcast_to(idx[:,None],(l,l)).ravel(),np.broadcast_to(idx,(l,l)).ravel()
out = coo_matrix((arr.ravel(), (r,c)), shape=(n,n))