训练、测试、验证拆分 Python。三套

Question

有人提出了一种将数据集分成三组的解决方案。我想知道这种情况下的标签在哪里。或者如何设置标签。

train, validate, test = np.split(df.sample(frac=1), [int(.6*len(df)), int(.8*len(df))])

Answer 1

我会根据cmets来回答问题：

使用此方法进行拆分：

train, validate, test = np.split(df.sample(frac=1), [int(.6*len(df)), int(.8*len(df))])

您将获得 3 个不同的对象，其中包括来自 df 的前 60% 的数据 train，对应于 validate 的 60% 和 80% 之间的区间的数据以及最后 20% 对应的数据在test 中达到 80%-100%。标签位于这些数据框中。

在train_test_split 中，您传递了两个对象 X 和 Y，它们很可能先前已从原始数据集中拆分并返回 4 个对象，其中 2 个对应于训练，两个对应于测试。请记住这一点：您首先将数据集拆分为independent variables 和explained/target variable，然后将这两个对象拆分为训练和测试。

使用np.split，您将反过来，您首先将数据集拆分为 3 个对象，训练、验证和测试，然后需要将它们单独拆分为 independent variables 通常称为 X 和 target variable known作为 Y。您正在执行相同的拆分，只是以相反的顺序。

但是，请记住，通过传递np.split 的索引，这意味着拆分不是随机执行的，而使用train_test_split 你会得到一个随机的训练和测试子集。另一方面，np.split 允许更大的灵活性，例如，正如您在示例中所证明的那样，可以创建 2 个以上的子集。

也许这会有所帮助！

Answer 2

试试这个。将其中一个 train_test_split 的输出作为输入输入到第二个中

import numpy as np
from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4)
X_test, X_validate, y_test, y_validate = train_test_split(X_test, y_test, test_size=0.5)

函数将2个数组随机拆分为4个数组，test_size决定了分配给测试输出vs训练的拆分大小。 y 输入是构建机器学习模型的目标，X 是模型的特征。如果您希望将它们组合起来，则只需连接等效的 X 和 y 输出。