在神经网络中实现稀疏连接（Theano）

Question

神经网络的一些用例要求并非所有神经元都连接在两个连续的层之间。对于我的神经网络架构，我需要有一个层，其中每个神经元只与前一层中的一些预先指定的神经元有连接（在有些随意的地方，而不是像卷积层这样的模式）。为了在特定图表上对数据进行建模，这是必需的。我需要在 Theano 中实现这个“稀疏”层，但我不习惯 Theano 的编程方式。

似乎在 Theano 中编程稀疏连接的最有效方法是使用theano.tensor.nnet.blocksparse.SparseBlockGemv。另一种方法是进行矩阵乘法，其中许多权重设置为 0（= 无连接），但与 SparseBlockGemv 相比效率非常低，因为每个神经元仅连接到前一层中的 2-6 个神经元约 100000 个神经元。此外，100000x100000 的权重矩阵不适合我的 RAM/GPU。因此，有人可以提供一个示例，说明如何使用SparseBlockGemv 方法或其他计算效率高的方法实现稀疏连接？

一个完美的例子是在隐藏层之后（并且在 softmax 之前）用一个额外的层扩展 MLP Theano Tutorial，其中每个神经元只与前一层中的一部分神经元有连接。但是，也非常欢迎其他示例！

编辑：请注意，该层必须在 Theano 中实现，因为它只是较大架构的一小部分。

Answer 1

全连接层的输出由输入的点积和该层的权重给出。在 theano 或 numpy 中你可以使用dot 方法。

y = x.dot(w)

如果您只与前一层中的某些神经元有连接，并且这些连接是预定义的，您可以执行以下操作：

y = [x[edges[i]].dot(w[i])) for i in neurons]

其中edges[i] 包含连接到神经元i 的神经元的索引，w[i] 包含此连接的权重。

请注意，theano 不知道层或其他高级细节。

Answer 2

很抱歉恢复旧线程，但这是我发现的最简单的指南，它有助于扩展 https://iamtrask.github.io/2015/07/12/basic-python-network/ 的指南以用于部分连接的输入。但是，我花了一段时间才理解 basaundi 的答案，我认为我可以改进它。

有几件事我需要更改才能使其正常工作。就我而言，我试图从 N 个输入映射到我的第一个隐藏层中的 M 个神经元。我的输入位于 NxF 数组中，其中 F 是我的输入的特征数，输入和第一层之间的突触值（权重）位于 FxM 数组中。因此，Inputs Weights 的输出是一个 NxM 数组。我的边缘矩阵是一个 MxF 数组，它为第 1 层（行）中的每个神经元指定输入数据的哪些特征是相关的（列）。

至少在这个设置中，它要求我以不同于上面指定的方式对数组进行切片。此外，列表推导返回一个矩阵列表，必须将其相加才能得到正确的 NxM（否则你会得到一个 MxNxM 数组）。

所以我使用了以下（util.sigmoid 是我自己的辅助函数）：

y = [numpy.dot(x[:, edges[i]], w[edges[i]]) 
     for i in range(M)]
y = util.sigmoid(numpy.sum(y, 0))

这似乎对我有用。