神经网络的手动预测出错

Question

我有一个数据集 (csv)，格式如下：

第一列：随机整数

第二列：每个整数的类别（称为bins）

在预处理之后已经制作了bins，例如1000到1005之间的整数属于bin号0，1006和1011属于bin号1并继续。

我的神经网络的目标列是 bins 列（第二列）。

我将 OneHotEncoding 用于我的目标列，并将每个 bin 编号转换为二进制向量。我有 3557 个不同的垃圾箱（类）。

我对其进行了训练并以 99.7% 的准确率对其进行了评估。

import numpy as np
import pandas as pd
import tensorflow as tf
from sklearn.preprocessing import OneHotEncoder
from keras import Sequential
from keras.layers import Dense
from sklearn.model_selection import train_test_split

df = pd.read_csv("/dbfs/FileStore/tables/export78.csv")

onehotencoder = OneHotEncoder(categorical_features = [1])
data2 = onehotencoder.fit_transform(df).toarray()
dataset = pd.DataFrame(data2)

X= dataset.iloc[:,3557].astype(float)
y= dataset.iloc[:,0:3557].astype(int)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)


classifier = Sequential()
#First Hidden Layer
classifier.add(Dense(3557, activation='sigmoid', kernel_initializer='random_normal', input_dim=1))
#Second  Hidden Layer
classifier.add(Dense(3557, activation='sigmoid', kernel_initializer='random_normal'))
#Output Layer
classifier.add(Dense(3557, activation='sigmoid', kernel_initializer='random_normal'))

#Compiling the neural network
classifier.compile(optimizer ='adam',loss='binary_crossentropy', metrics=['accuracy'])

#Fitting the data to the training dataset
classifier.fit(X_train,y_train, batch_size=50, epochs=10)

accr = classifier.evaluate(X_test, y_test)
print('Test set\n  Loss: {:0.3f}\n  Accuracy: {:0.3f}'.format(accr[0] ,accr[1]))

classifier.save("model.h67")


data1 = np.array(X_test)
List = [data1]
model = tf.keras.models.load_model("model.h67")
prediction = model.predict([(data1)])
target = (np.argmax(prediction, axis=0))
dataset1 = pd.DataFrame(target)
display(dataset1)

问题：

当我尝试使用我的模型进行手动预测时，我无法得到正确的结果。 作为预测输入，给出一个 csv，其中只有一列带有随机整数，我想要结果属于的 bin。

Answer 1

您是否收到错误消息或只是错误的预测？您的问题并不清楚。

试试：

prediction = model.predict(data1)

编辑：

我有 3557 个不同的垃圾箱（类）。

classifier.compile(optimizer ='adam',loss='binary_crossentropy', metrics=['accuracy'])

那么binary_crossentropy作为损失函数不是正确的选择，试试categorical_crossentropy。

Answer 2

您的代码有几个问题。

开始：

我对其进行了训练并以 99.7% 的准确率对其进行了评估。

当一个人错误地使用binary_crossentropy 损失来解决多类分类问题时，这是一个已知问题（虚假的高精度）；见：

• Keras binary_crossentropy vs categorical_crossentropy performance?
• Why is binary_crossentropy more accurate than categorical_crossentropy for multiclass classification in Keras?

其次，你在最后一层也错误地使用了activation='sigmoid'，它应该是activation='softmax'。

第三，在其余层中删除所有这些activation='sigmoid'，并将它们替换为relu。

最后，您应该在模型层中删除所有这些kernel_initializer='random_normal' 语句；保留未定义的参数，使其默认为（非常棒的）glorot_uniform (docs)。

总而言之，您的模型应该是这样的：

classifier = Sequential()
classifier.add(Dense(3557, activation='relu', input_dim=1))
classifier.add(Dense(3557, activation='relu'))
classifier.add(Dense(3557, activation='softmax'))

classifier.compile(optimizer ='adam',loss='categorical_crossentropy', metrics=['accuracy'])

这是非常笼统的建议，仅供初学者参考；一个 3557 类的问题并非微不足道，也不清楚为什么您选择使用 3 层，它们都具有相同数量（3557）的节点。尝试架构，牢记以上几点...