当我们加载预训练模型并且我们没有训练数据集时，如何缩放预测数据？ [复制]

Question

假设我有一个火车数据集。我把它分成训练/测试。对于训练，我使用标准缩放器对训练数据进行 fit.transform 并在测试数据上进行转换。然后，我训练一个模型并保存它。

train.py：

data = pd.read_csv("train.csv")
X = data["X"]
y = data["y"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

scale = StandardScaler()
X_train_s = scale.fit_transform(X_train)
X_test_s = scale.transform(X_test)

model.fit(X_train_s, y_train)
y_pred = model.predcit(X_test_s)

# save model
joblib.dump(model, filename)

现在，我在另一个脚本中加载模型，并且我有另一个数据集仅用于预测。问题是当我没有训练数据集时如何缩放预测数据集。如下预测数据集上 fit.transform 是否正确？

prediction.py

data = pd.read_csv("prediction.csv")
X = data["X"]
y = data["y"]

scale = StandardScaler()
X_predict_s = scale.fit_transform(X)

loaded_model = joblib.load(filename)
y_pred = loaded_model(X_predict_s)

或者我必须将训练数据加载到 prediction.py 并使用它来 fit.transform 缩放器。

Answer 1

我喜欢使用pickle，但同样的逻辑也适用于joblib。

本质上，您必须转储缩放器并将其加载到新脚本中，就像您对 model 和 loaded_model 所做的那样。

在您训练模型的脚本中：

from pickle import dump

# save model
dump(model, open('model.pkl', 'wb'))
# save scaler
dump(scale, open('scale.pkl', 'wb'))

在您加载模型的脚本中：

from pickle import load

# load model
loaded_model = load(model, open('model.pkl', 'rb'))
# load scaler
loaded_scale = load(scale, open('scale.pkl', 'rb'))

现在您必须使用 loaded_scale 转换数据并使用 loaded_model 预测缩放后的数据。