如何在每个 epoch 后解决恒定的模型精度

Question

我正在学习深度学习，作为一项作业，我正在做一个分类项目，该项目有 17k 条记录，包含 14 个特征和一个包含 11 个类的目标变量。

我尝试训练一个简单的神经网络

# define the keras model
model1 = keras.Sequential()
model1.add(keras.layers.Dense(64, input_dim=14, activation='relu'))
model1.add(keras.layers.Dense(128, activation='relu'))
model1.add(keras.layers.Dense(64, activation='relu'))  
model1.add(keras.layers.Dense(1, activation='softmax'))

# compile the keras model
model1.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

# fit the keras model on the dataset
performance1 = model1.fit(x_train, y_train, epochs=100, validation_split=0.2)

但这里的问题是我在每个时期都获得了相同的准确性，似乎模型甚至没有学习。

我试图研究这个问题，并在 StackOverflow 上发现了一些类似的问题，例如 question 并尝试了以下操作

• 应用标准缩放器
• 增加/减少隐藏层和神经元
• 添加了 dropout 层
• 更改了优化器、损失和激活函数
• 我也尝试了 batch_size

但都没有奏效，当然，不同试验的准确率不同（但问题相同）。

几个试验如下：

# define the keras model
model1 = keras.Sequential()
model1.add(keras.layers.Dense(64, input_dim=14, activation='sigmoid'))
model1.add(keras.layers.Dense(128, activation='sigmoid'))
model1.add(keras.layers.Dense(64, activation='sigmoid'))  
model1.add(keras.layers.Dense(1, activation='softmax'))

sgd = keras.optimizers.SGD(lr=0.01)
# compile the keras model
model1.compile(loss='categorical_crossentropy', optimizer=sgd, metrics=['accuracy'])

# define the keras model
model1 = keras.Sequential()
model1.add(keras.layers.Dense(64, input_dim=14, activation='relu'))
model1.add(keras.layers.Dense(128, activation='relu'))
model1.add(keras.layers.Dropout(0.2))
model1.add(keras.layers.Dense(64, activation='relu')) 
model1.add(keras.layers.Dropout(0.2))
model1.add(keras.layers.Dense(1, activation='softmax'))

# compile the keras model
model1.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

---

我不知道这里有什么问题。如果您需要更多详细信息来处理此问题，请告诉我。请不要关闭这个问题我知道这个问题有机会被标记为重复的问题，但相信我，我尝试了很多我作为初学者可以理解的事情。

Answer 1

问题在于softmax 应该应用于输出数组以获取概率，并且模型的输出数组应该代表每个目标类的 logits。因此你必须改变这一行

model1.add(keras.layers.Dense(1, activation='softmax'))
# TO
model1.add(keras.layers.Dense(df['Class'].nunique(), activation='softmax'))

编辑：

# Let's say you have 11 unique values in your class then you last layer will become
model1.add(keras.layers.Dense(11, activation='softmax'))

# Now your loss will be
model1.compile(loss=tf.keras.loss.SparseCategoricalCrossentropy(), optimizer='adam', metrics=[tf.keras.metrics.SparseCategoricalAccuracy()])