建立具有多标签分类的 CNN 网络

Question

我有一组 100x100 的图像，以及一个对应于输入大小（即长度为 10000）的输出数组，其中每个元素可以是 1 或 0。

我正在尝试使用 TensorFlow/Keras 编写一个 python 程序来训练一个基于这些数据的 CNN，但是，我不确定如何设置层来处理它，或者要使用的网络类型。

目前，我正在执行以下操作（基于 TensorFlow 教程）：

model = keras.Sequential([
    keras.layers.Flatten(input_shape=(100, 100)),
    keras.layers.Dense(128, activation=tf.nn.relu),
    keras.layers.Dense(10000, activation=tf.nn.softmax)
])
model.compile(optimizer=tf.train.AdamOptimizer(), 
          loss='sparse_categorical_crossentropy',
          metrics=['accuracy'])

但是，我似乎找不到应该为输出层使用哪种类型的激活来使我能够拥有多个输出值？ 我该如何设置？

Answer 1

我不确定如何设置图层来处理它。

您的代码是处理该问题的一种方法，但正如您在文献中所读到的那样，它并不是最好的。最先进的模型通常使用 2D Convolution Neural Networks。例如：

    img_input = keras.layers.Input(shape=img_shape)
    conv1 = keras.layers.Conv2D(16, 3, activation='relu', padding='same')(img_input)
    pol1 = keras.layers.MaxPooling2D(2)(conv1)
    conv2 = keras.layers.Conv2D(32, 3, activation='relu', padding='same')(pol1)
    pol2 = keras.layers.MaxPooling2D(2)(conv2)
    conv3 = keras.layers.Conv2D(64, 3, activation='relu', padding='same')(pol2)
    pol3 = keras.layers.MaxPooling2D(2)(conv3)
    flatten = keras.layers.Flatten()(pol3)
    dens1 = keras.layers.Dense(512, activation='relu')(flatten)
    dens2 = keras.layers.Dense(512, activation='relu')(dens1)
    drop1 = keras.layers.Dropout(0.2)(dens2)
    output = keras.layers.Dense(10000, activation='softmax')(drop1)

我似乎找不到应该使用哪种类型的激活 输出层，使我能够有多个输出值

Softmax 是个不错的选择。它将任意实数值的 K 维向量压缩为实数值的 K 维向量，其中每个条目都在 (0, 1] 范围内。

您可以将 Softmax 的输出传递给 top_k 函数以提取顶部 k 预测：

softmax_out = tf.nn.softmax(logit)
tf.nn.top_k(softmax_out, k=5, sorted=True)

---

如果您需要multi-label classification，您应该更改上述网络。 Last Activation 函数将变为 sigmoid：

output = keras.layers.Dense(10000, activation='sigmoid')(drop1)

然后使用tf.round和tf.where提取标签：

indices = tf.where(tf.round(output) > 0.5)
final_output = tf.gather(x, indices)