为什么第一个密集层不“密集”？

Question

我创建了一个简单的拓扑结构，其中包含一个输入层和 2 个密集隐藏层。每个隐藏层有 10 个输入和 10 个神经元。

我原以为每个隐藏层都有 10x10 的权重/突触，但似乎第一个隐藏层只有 1x10 的权重：

    features = {"test_input" : tensorflow.range(10)}                                                                                                                                  
    feature_columns = [tensorflow.feature_column.numeric_column("test_input")]                                                                                                        
    input_layer = tensorflow.feature_column.input_layer(                                                                                                                              
        features=features,                                                                                                                                                            
        feature_columns=feature_columns)                                                                                                                                              

    hidden_layer_1 = tensorflow.layers.dense(                                                                                                                                         
        input_layer,                                                                                                                                                                  
        units=10,                                                                                                                                                                     
        activation=tensorflow.nn.relu,                                                                                                                                                
        name="hidden_layer_1")                                                                                                                                                        

    hidden_layer_2 = tensorflow.layers.dense(                                                                                                                                         
        hidden_layer_1,                                                                                                                                                               
        units=10,                                                                                                                                                                     
        activation=tensorflow.nn.relu,                                                                                                                                                
        name="hidden_layer_2")                                                                                                                                                        

    vars = tensorflow.trainable_variables()                                                                                                                                           

    print vars                                                                                                                                                                        

似乎第一个隐藏层仅将每个神经元连接到一个对应的输入，而不是密集连接到每个神经元的每个输入。这是预期的吗？这种行为记录在哪里？

Answer 1

这是因为dense 层的输入应该是[batch_size, feature_size] 的大小。你的输入是[10, 1]，这就是为什么权重大小为 1x10。

只需对第一个密集层的输入执行tf.transpose(input_layer) 即可使输入为[1, 10]，并应提供所需的大小。