使用内置 sagemaker 算法的增量学习答案

【问题标题】：Incremental learning with a built-in sagemaker algorithm使用内置 sagemaker 算法的增量学习
【发布时间】：2019-09-15 17:16:13
【问题描述】：

我正在训练 DeepAR AWS SageMaker 内置算法。使用 sagemaker SDK，我可以使用特定的指定超参数训练模型：

estimator = sagemaker.estimator.Estimator(
    sagemaker_session=sagemaker_session,
    image_name=image_name,
    role=role,
    train_instance_count=1,
    train_instance_type='ml.c4.2xlarge',
    base_job_name='wfp-deepar',
    output_path=join(s3_path, 'output')
)

estimator.set_hyperparameters(**{
    'time_freq': 'M',
    'epochs': '50',
    'mini_batch_size': '96',
    'learning_rate': '1E-3',
    'context_length': '12',
    'dropout_rate': 0,
    'prediction_length': '12'
})

estimator.fit(inputs=data_channels, wait=True, job_name='wfp-deepar-job-level-5')

我想以较小的学习率再次训练生成的模型。我遵循了这里描述的增量训练方法：https://docs.aws.amazon.com/en_pv/sagemaker/latest/dg/incremental-training.html，但它不起作用，显然（根据链接），只有两个内置模型支持增量学习。

有没有人找到解决方法，以便他们可以训练具有预定学习率的内置算法？

【问题讨论】：

标签： amazon-web-services machine-learning deep-learning aws-sdk amazon-sagemaker

【解决方案1】：

很遗憾，SageMaker 内置的 DeepAR 模型不支持学习率调度，也不支持增量学习。如果您想在 DeepAR 架构上实施学习率平台计划，我建议您考虑：

使用开源 DeepAR 实现（code、demo）
或使用DeepAR+ algo of the Amazon Forecast service，具有学习率调度能力。

【讨论】：