我知道，在一维情况下，a 和 b 两个向量之间的卷积可以计算为 conv(a, b)，但也可以计算为 T_a 和 b 之间的乘积，其中T_a 是 a 对应的 Toeplitz 矩阵。
是否可以将这个想法扩展到二维？
给定a = [5 1 3; 1 1 2; 2 1 3] 和b=[4 3; 1 2]，是否可以将a 转换为Toeplitz 矩阵并计算T_a 和b 之间的矩阵乘积，就像一维情况一样？
【问题讨论】：
deep-learning @ 中的介绍和注意事项987654323@.
标签： neural-network deep-learning conv-neural-network matrix-multiplication convolution
是的，这是可能的，您还应该使用双块循环矩阵（这是Toeplitz 矩阵的特例）。我会给你一个小尺寸内核和输入的例子，但是可以为任何内核构造 Toeplitz 矩阵。所以你有一个二维输入x 和二维内核k，你想计算卷积x * k。还让我们假设k 已经翻转。我们还假设x 的大小为n×n，而k 的大小为m×m。
因此，您将k 展开为大小为(n-m+1)^2 × n^2 的稀疏矩阵，并将x 展开为一个长向量n^2 × 1。您计算这个稀疏矩阵与一个向量的乘法，并将结果向量（大小为(n-m+1)^2 × 1）转换为一个n-m+1 方阵。
我很确定这很难仅仅通过阅读来理解。所以这里是一个 2×2 内核和 3×3 输入的例子。
这是一个带有向量的构造矩阵：
这与在x 上滑动k 得到的结果相同。
【讨论】：
Also let's assume that k is already flipped 是什么意思？是因为我们想要执行相关而不是卷积吗？就 numpy 操作而言，flipped 是什么？
flip(m, 0)，相当于flipud(m)。
如果你将 k 解开为 m^2 向量并展开 X，你会得到：
m**2 向量k
((n-m)**2, m**2) 矩阵unrolled_X
其中unrolled_X可以通过以下Python代码获得：
from numpy import zeros
def unroll_matrix(X, m):
flat_X = X.flatten()
n = X.shape[0]
unrolled_X = zeros(((n - m) ** 2, m**2))
skipped = 0
for i in range(n ** 2):
if (i % n) < n - m and ((i / n) % n) < n - m:
for j in range(m):
for l in range(m):
unrolled_X[i - skipped, j * m + l] = flat_X[i + j * n + l]
else:
skipped += 1
return unrolled_X
展开 X 而不是 k 可以让每个 X 比其他方式更紧凑的表示（更小的矩阵） - 但您需要展开每个 X。您可能更喜欢展开 k，具体取决于您想要做什么。
在这里，unrolled_X 不是稀疏的，而 unrolled_k 会是稀疏的，但 @Salvador Dali 提到的大小为 ((n-m+1)^2,n^2)。
展开k 可以这样完成：
from scipy.sparse import lil_matrix
from numpy import zeros
import scipy
def unroll_kernel(kernel, n, sparse=True):
m = kernel.shape[0]
if sparse:
unrolled_K = lil_matrix(((n - m)**2, n**2))
else:
unrolled_K = zeros(((n - m)**2, n**2))
skipped = 0
for i in range(n ** 2):
if (i % n) < n - m and((i / n) % n) < n - m:
for j in range(m):
for l in range(m):
unrolled_K[i - skipped, i + j * n + l] = kernel[j, l]
else:
skipped += 1
return unrolled_K
【讨论】：
上面显示的代码不会产生正确维度的展开矩阵。维度应该是 (n-k+1)*(m-k+1), (k)(k)。 k：过滤器维度，n：输入矩阵中的 num 行，m：num 列。
def unfold_matrix(X, k):
n, m = X.shape[0:2]
xx = zeros(((n - k + 1) * (m - k + 1), k**2))
row_num = 0
def make_row(x):
return x.flatten()
for i in range(n- k+ 1):
for j in range(m - k + 1):
#collect block of m*m elements and convert to row
xx[row_num,:] = make_row(X[i:i+k, j:j+k])
row_num = row_num + 1
return xx
更多详情请看我的博文：
【讨论】：
令I为输入信号，F为滤波器或内核。
如果 I 是 m1 x n1 并且 F 是 m2 x n2，则输出的大小将为：
对过滤器进行零填充，使其与输出大小相同。
现在所有这些小的 Toeplitz 矩阵都应该排列在一个大的双重阻塞 Toeplitz 矩阵中。
这个乘法给出卷积结果。
有关更多详细信息和 python 代码，请查看我的 github 存储库：
【讨论】：