我对卷积神经网络的全连接层有一些不确定性。假设输入是卷积层的输出。我知道前一层是扁平的。但它可以有多个渠道吗？ （例如，全连接层的输入可以是16x16x3（3个通道，展平成768个元素的向量吗？）
接下来，我理解输出的等式是，
outputs = activation(inputs * weights' + bias)
每个输入是否有 1 个权重？ （例如，在上面的例子中，会有 768 个权重吗？）
接下来，有多少偏差？每个频道 1 个（所以 3 个）？ 1不管怎样？还有什么？
最后，过滤器如何在全连接层中工作？可以多于1个吗？
【问题讨论】：
标签： tensorflow deep-learning conv-neural-network nnapi
您可能对全连接神经网络的工作原理存在误解。为了更好地理解它，您可以随时查看一些不错的教程，例如斯坦福的在线课程HERE
要回答您的第一个问题：是的，无论您拥有什么尺寸，您都需要先将其展平，然后再发送到全连接层。
要回答您的第二个问题，您必须了解全连接层实际上是一个矩阵乘法，然后是向量加法的过程：
input^T * weights + bias = output
您的输入尺寸为 1xIN，权重尺寸为 INxOUT，输出尺寸为 1xOUT，因此您有 1xIN * INxOUT = 1xOUT。总之，您将拥有每个输入的 INxOUT 权重和 OUT 权重。您还需要 OUT 偏置，这样完整的等式就是 1xIN * INxOUT + 1xOUT（偏置项）。
没有过滤器，因为你不做卷积。
请注意，全连接层也等于 1x1 卷积层，许多实现后来使用全连接层，这可能会让初学者感到困惑。详情请参考HERE
【讨论】：