sklearn.impute SimpleImputer：为什么 transform() 首先需要 fit_transform()？

Question

sklearn 提供transform() 方法来应用one-hot encoder。

要使用transform()方法，在调用transform()方法之前需要fit_transform()，否则

np.array([[1, 1], [2, 1], [3, 2], [np.nan, 2]])
from sklearn.impute import SimpleImputer
my_imputer = SimpleImputer()
my_imputer.transform(df)

出现错误

NotFittedError：此 SimpleImputer 实例尚未安装。称呼 在使用此方法之前，“适合”适当的参数。

在transform()之前调用fit_transform()

my_imputer.fit_transform(df)
my_imputer.transform(df)

修正这个错误。

问题是，为什么transform() 需要fit_transform()？

Answer 1

在fit() 期间，估算器了解数据的平均值、中位数等，然后在transform() 期间将其应用于缺失值。

fit_transform() 只是结合这两种方法的简写。所以本质上：

• fit(X, y) :- 了解所提供数据的所需方面并返回具有学习参数的新对象。它不会以任何方式更改提供的数据。

• transform() :- 实际上将提供的数据转换为新形式。

fit_transform(df) 不需要在转换之前调用。只需调用fit()。通常，您描述的序列是通过数据的训练和测试拆分完成的。比如：

# Combining the learning of parameters from training data and transforming into a single step.
X_train_new = my_imputer.fit_transform(X_train)

# We dont want to learn about test data, only change it according to previously learnt information
X_test_new = my_imputer.transform(X_test)

上面的代码sn-p可以分解成：

# It learns about the data and does nothing else
my_imputer.fit(X_train)

# Calling transform to apply the learnt information on supplied data
X_train_new = my_imputer.transform(X_train)
X_test_new = my_imputer.transform(X_test)