如何优化人工神经网络的准确性

Question

我有 300 个数据集的 50 个目标类。

这是我的示例数据集，包含 98 个特征：

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
%matplotlib inline
dataset = pd.read_csv(root_path + 'pima-indians-diabetes.data.csv', header=None)

X= dataset.iloc[:,0:8]
y= dataset.iloc[:,8]

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X = sc.fit_transform(X)

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y,test_size=0.3)

from keras import Sequential
from keras.layers import Dense

classifier = Sequential()
#First Hidden Layer
classifier.add(Dense(units = 10, activation='relu',kernel_initializer='random_normal', input_dim=8))
#Second  Hidden Layer
classifier.add(Dense(units = 10, activation='relu',kernel_initializer='random_normal'))
#Output Layer
classifier.add(Dense(units = 1, activation='sigmoid',kernel_initializer='random_normal'))

#Compiling the neural network
classifier.compile(optimizer ='adam',loss='binary_crossentropy', metrics =['accuracy'])

#Fitting the data to the training dataset
classifier.fit(X_train,y_train, batch_size=2, epochs=10)

我在这里得到了 19% 的准确率，但我不知道如何优化我的预测结果。

Answer 1

我认为您已经对具有 98 个特征的原始数据执行了降维技术，因此您在模型中使用了 8 维输入特征。

我对您的实施有几点看法：

[作为分类问题]

正如您提到的，您的样本属于 50 个不同的类别，这个问题肯定是一个多类别分类问题。因此，您需要先对标签进行编码，例如：

from keras.utils import to_categorical
y = to_categorical(y, num_classes=50, dtype='float32')

在这种情况下，您需要更改最后一层的输出节点（代表类）和激活函数的数量，如下所示：

classifier.add(Dense(units = 50, activation='softmax'))

此外，您必须在编译模型时使用 categorical_crossentropy 作为损失函数。

classifier.compile(optimizer ='adam',loss='categorical_crossentropy', metrics =['accuracy'])

---

[作为回归问题]

您也可以将此问题视为多元回归问题，因为输出在 0 到 50（连续）的范围内，并且可以像您一样在最后一层保留单个输出节点。但在这种情况下，您应该使用linear 激活函数而不是sigmoid。

所以，最后一层应该是这样的：

classifier.add(Dense(units = 1)) # default activation is linear

此外，在回归问题的情况下，mean_squared_error 是最相关的成本函数（假设您的数据集中没有多少异常值），accuracy 作为性能指标是无关紧要的（您可以使用mean_absolute_error类似于损失）。因此，第二个修改是：

classifier.compile(optimizer ='adam',loss='mean_squared_error')