即使平均绝对误差很低，也无法获得正确的结果

Question

import pandas as pd
df=pd.read_csv('final sheet for project.csv')
features=['moisture','volatile matter','fixed carbon','calorific value','carbon %','oxygen%']
train_data=df[features]
target_data=df.pop('Activation energy')
X_train, X_test, y_train, y_test = train_test_split(train_data,target_data,  test_size=0.09375, random_state=1)

standard_X_train=pd.DataFrame(StandardScaler().fit_transform(X_train))
standard_X_test=pd.DataFrame(StandardScaler().fit_transform(X_test))

y_train=y_train.values
y_train = y_train.reshape((-1, 1))

scaler = MinMaxScaler(feature_range=(0, 1))
scaler = scaler.fit(y_train)

normalized_y_train = scaler.transform(y_train)

y_test=y_test.values
y_test = y_test.reshape((-1, 1))

scaler = MinMaxScaler(feature_range=(0, 1))
scaler = scaler.fit(y_test)

normalized_y_test = scaler.transform(y_test)

model=keras.Sequential([layers.Dense(units=20,input_shape=[6,]),layers.Dense(units=1,activation='tanh')])

model.compile(
    optimizer='adam',
    loss='mae',
)


history = model.fit(standard_X_train,normalized_y_train, validation_data=(standard_X_test,normalized_y_test),epochs=200)

我希望创建一个模型来使用一些特征来预测激活能量。我得到训练损失：0.0629 和 val_loss：0.4213。 但是当我试图预测一些其他看不见的数据的激活能量时，我得到了奇怪的结果。我是 ML 的初学者。

有人可以帮忙在代码中进行哪些更改。 （我想制作一个具有 20 个单元的隐藏层的模型，它具有激活函数 tanh。）

Answer 1

您不应将fit_transform 用于测试数据。您应该将fit_transform 用于训练数据并仅将transform 应用于测试数据，以便在测试数据上对训练数据使用相同的参数。

所以，你的代码的转换部分应该像这样改变：

scaler_x = StandardScaler()
standard_X_train = pd.DataFrame(scaler_x.fit_transform(X_train))
standard_X_test  = pd.DataFrame(scaler_x.transform(X_test))

y_train=y_train.values
y_train = y_train.reshape((-1, 1))
y_test=y_test.values
y_test = y_test.reshape((-1, 1))

scaler_y = MinMaxScaler(feature_range=(0, 1))
normalized_y_train = scaler_y.fit_transform(y_train)
normalized_y_test  = scaler_y.transform(y_test)

此外，由于您正在扩展数据，因此您应该对任何预测执行相同的操作。所以，你的预测线应该是这样的：

preds = scaler_y.inverse_transform(
     model.predict(scaler_x.transform(pred_input)) #if it is standard_X_test you don't need to transform again, since you already did it. 
     )

此外，由于您在 0 和 1 范围内转换标签，您可能需要将最后一层激活函数更改为 sigmoid 而不是 tanh，或者甚至可能更好地使用像 relu 这样的激活函数如果在上述修改后仍然得到较差的结果，请在第一层中。

model=keras.Sequential([
                        layers.Dense(units=20,input_shape=[6,],activation='relu'),
                        layers.Dense(units=1,activation='sigmoid')
                       ])