如何使用 AWS SageMaker 和 S3 进行对象检测？答案

【问题标题】：How to use AWS SageMaker and S3 for Object Detection?如何使用 AWS SageMaker 和 S3 进行对象检测？
【发布时间】：2021-02-18 12:24:35
【问题描述】：

我希望在大约 1.5GB 的约 400k 图像文件夹上运行预训练的对象检测模型。当我尝试在本地运行时，估计需要大约 8 天才能完成（使用 keras yolov3）。因此，我希望使用 AWS SageMaker 和 S3。

当我在 SageMaker jupyter notebook 中上传我的图像的 zip 文件夹并尝试使用 bash 命令解压缩时，会弹出一个错误，提示我空间不足。分配给我的笔记本的卷是 5GB EBS，我的 jupyter 笔记本空间中确实有其他大量数据集，这可能会导致此问题。

为了解决这个问题，我正在寻找一种方法，可以将数据上传到 S3 并运行 SageMaker 来读取托管的图像并运行对象检测模型。但是，似乎没有一种方法可以在不使用额外服务的情况下在 S3 上解压缩文件夹（阅读 AWS Lambda 可能会有所帮助），因为这些服务是由我的学校支付的。

我可能会重新运行我的代码以从 URL 中提取我的图像。在这种情况下，我怎样才能将这些图像直接保存到 S3 中呢？另外，有谁知道我是否能够在 SageMaker 上运行 yolov3，或者是否有更好的模型可以使用。感谢任何可能有帮助的建议。

【问题讨论】：

你正朝着正确的方向前进。始终数据应驻留在 S3 而不是 SageMaker 实例上。实际上，即使在构建模型之后；我们将模型文件保存在 S3 上。最大的优势是即使明天您终止 sagemaker 实例，您也永远不会丢失您的数据或模型。
如果您只有 1.5 GB 数据；你为什么不上传它而不压缩它。这将删除你的拦截器。
感谢您的回复！我遇到了从我的 Windows 文件资源管理器上传所有 400k 图像而不压缩它的问题，因为它往往会因这么多图像而崩溃。您知道是否可以将带有 URL 的图像直接下载到我的 S3 存储桶中？
嗯，你明白了；大小不是问题，但您拥有的大量文件才是问题所在。好吧，您可以为它编写一个小的 Python 脚本，然后在 sagemaker 中的 jupyter notebook 上运行它。
好吧，我先试试看！我也在某处阅读过有关使用 AWS CLI 来帮助上传的信息。感谢您的意见！

【解决方案1】：

是的，你是对的，你可以使用 aws cli 使用 $aws s3 cp 上传数千张图片；或 $aws s3 同步

【讨论】：