将训练和测试数据集写入单独的文件

Question

我正在为我的工作目的训练一个自动编码器神经网络。但是我正在接受 图像 numpy 数组数据集作为输入（总样本 16110），并希望使用以下 autoencoder.fit 命令将数据集拆分为训练集和测试集。此外，在训练网络时，它就像在 12856 个样本上训练一样，在 3254 个样本上进行验证。

但是，我需要将训练和测试数据保存到单独的文件中。我该怎么做？

es=EarlyStopping(monitor='val_loss',mode='min',verbose=1,patience=5)
mc=ModelCheckpoint('best_model.h5',monitor='val_loss',mode='min',save_best_only=True)

history = autoencoder.fit(dataNoise,dataNoise, epochs=30, batch_size=256, shuffle=256,callbacks=[es,mc], validation_split = 0.2)

Answer 1

您可以使用 sklearn 中的 train_test_split 函数。见下面的代码

from sklearn.model_selection import train_test_split
train_split=.9 # set this  as the % you want for training
train_noise, valid_noise=train_test_split(dataNoise, train_size=train_split, shuffle=True, 
                                          random_state=123)

现在使用训练噪声作为 x,y 和有效噪声作为 model.fit 中的验证数据