如何使用 AWS lambda 在 Sagemaker 中安排 ipnyb 笔记本？答案

【问题标题】：How do I schedule a ipnyb notebook in Sagemaker using AWS lambda?如何使用 AWS lambda 在 Sagemaker 中安排 ipnyb 笔记本？
【发布时间】：2019-11-12 13:20:09
【问题描述】：

我需要安排 AWS Lambda 打开/运行我在 Sagemaker 中的 Jupyter Notebook，以便每天生成一个 csv 文件。

我已经创建了我的笔记本实例（我们称之为 Model_v1）和 Sagemaker 中所需的生命周期配置。我可以启动实例，在 Notebook 中运行代码 (R)，然后代码写入我需要的 CSV 文件。

我已经阅读了很多关于如何将 Sagemaker 与 Lambda 一起使用的帖子，但我并没有正式使用“培训工作”或“模型”/端点等。我实际上只是希望 Lambda 1）启动笔记本实例 2) 运行生成 CSV 的 .ipnyb 代码

如果有一种更简单的方法可以让 Sagemaker 每天使用其他工具（而不是 lambda）运行此脚本一次，我们非常乐意进行更改！

【问题讨论】：

标签： r aws-lambda jupyter-notebook amazon-sagemaker

【解决方案1】：

https://towardsdatascience.com/automating-aws-sagemaker-notebooks-2dec62bc2c84

这篇博客解释了这种情况。

启动 python 环境。
执行 jupyter notebook。
下载包含自动停止功能的 AWS 示例 Python 脚本。
等待 1 分钟。可根据需要增加或减少。
创建一个 cron 作业来执行自动停止 python 脚本。

【讨论】：

【解决方案2】：

您可以使用papermill 以编程方式运行笔记本。 papermill-lambda 展示了如何将 papermill 依赖项引入 lambda，但我从未尝试过。更简洁的设置是将模型科学封装在 docker 容器中，就像在 SageMaker R tutorial 中所做的那样。然后，您可以使用 lambda 函数从您选择的 lambda 兼容 SDK 启动训练作业（例如 boto3 create_training_job 调用，默认安装在 lambda 中）。

请注意，在与 sagemaker 兼容的 docker 容器中编写模型可以让您从使用您选择的语言的完整 SageMaker 体验中受益 - 这里使用 R，包括但不限于：：： p>

在各种类型的硬件和网络配置上训练作业编排，使用多个 SDK，包括但不限于python、CLI、js、PHP、go、ruby、@987654331 @)
贝叶斯超参数搜索
硬件使用和算法输出的本地日志记录，可选的带有正则表达式的指标仪表板
一键部署到托管实时端点，可选择多可用区和自动扩展
原生元数据持久性（超参数、数据路径、工件、训练配置和持续时间等）和搜索。

【讨论】：