Tensorflow.keras：RNN 对 Mnist 进行分类

Question

我试图通过构建一个简单的数字分类器来理解 tensorflow.keras.layers.SimpleRNN。 Mnist 数据集的数字大小为 28X28。所以主要思想是在时间 t 内呈现图像的每一行。我在一些博客中出现过这个想法，例如，this one，它展示了这张图片：

所以我的RNN是这样的：

units=128
self.model = Sequential()        
self.model.add(layers.SimpleRNN(128, input_shape=(28,28)))
self.model.add(Dense(self.output_size, activation='softmax'))

我知道 RNN 是使用以下等式定义的：

参数：

W={w_{hh},w_{xh}} 和 V={v}。

输入向量：x_t。

更新方程式：

h_t=f(w_{hh} h_{t-1}+w_{xh} x_t)。

y = v h_t.

问题：

1. “units=128”的确切定义是什么？是w_hh，w_xh的神经元个数吗？有什么地方可以找到这些信息吗？

2. 如果我运行self.model.summary()

我明白了

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
simple_rnn (SimpleRNN)       (None, 128)               20096     
_________________________________________________________________
dense_35 (Dense)             (None, 10)                1290      
=================================================================
Total params: 21,386
Trainable params: 21,386
Non-trainable params: 0
_________________________

如何从单元数到这些参数数“20096”和“1290”？

1. 在本例中，序列的大小始终相同。但是，我正在处理文本，序列的大小可变。那么，究竟 input_shape=(28,28) 是什么意思呢？我在任何地方都找不到此信息。

Answer 1

1. Units 是神经元的数量，它是该层输出的维度。可以在documentation 找到此信息。

2. 参数数量取决于层输入和单元数量。对于 SimpleRNN 层，这是 128 * 128 + 128 * 28 + 128 = 20096（参见 this answer）。对于密集层，这是 128 * 10 + 10 = 1290。添加这 10 和 128 是因为层中的偏置权重，默认情况下是打开的。

3. input_shape = (28, 28) 表示您的网络将处理大小为 28x28 数据点的输入。由于第一个维度是批量维度，它将处理 28 个长度为 28 的向量（如图所示）。可变长度的输入通常被拆分以适应给定的 input_shape。如果输入小于 input_shape，则可以应用填充以使其适合。