AWS Sagemaker - 使用交叉验证而不是专用验证集？答案

【问题标题】：AWS Sagemaker - using cross validation instead of dedicated validation set?AWS Sagemaker - 使用交叉验证而不是专用验证集？
【发布时间】：2019-08-23 16:47:42
【问题描述】：

当我在本地训练我的模型时，我使用 20% 的测试集，然后进行交叉验证。 Sagameker 似乎需要一个专用的验证集（至少在我遵循的教程中）。目前我有 20% 的测试，10% 的验证，剩下 70% 的训练——所以与我在本地训练时相比，我丢失了 10% 的训练数据，并且因此有一些性能损失。

我可以只使用我在本地训练的模型并覆盖存储在 s3 中的 sagemaker 模型，但这似乎有点麻烦。有没有一种无需专用验证集即可使用 Sagemaker 的方法？

谢谢

【问题讨论】：

标签： amazon-web-services cross-validation amazon-sagemaker

【解决方案1】：

SageMaker 似乎允许单个训练集，而在交叉验证中，您可以在例如 5 个不同的训练集之间进行迭代，每个训练集都在不同的保留集上进行验证。因此，SageMaker 培训服务似乎不太适合交叉验证。当然，交叉验证通常对小（准确地说是低方差）数据很有用，因此在这些情况下，您可以将训练基础设施设置为本地（因此不会花费很多时间），然后手动迭代以实现交叉验证功能。但这不是开箱即用的东西。

【讨论】：

【解决方案2】：

抱歉，当您说“SageMaker 似乎需要一个专门的验证集（至少在我遵循的教程中）时，请详细说明您指的是哪些教程。”

SageMaker 培训展示了将数据集分离为“通道”的能力，因此您可以按照自己喜欢的方式分离数据集。

【讨论】：