如何将存储桶图像从 AWS S3 读入 Sagemaker Jupyter 实例答案

【问题标题】：How to read bucket image from AWS S3 into Sagemaker Jupyter Instance如何将存储桶图像从 AWS S3 读入 Sagemaker Jupyter 实例
【发布时间】：2021-04-04 01:28:04
【问题描述】：

我对 AWS 和云环境非常陌生。我是一名机器学习工程师，我计划在 AWS 环境中构建一个自定义 CNN，以预测给定图像是否存在 iPhone。

我做了什么：

第 1 步：

我为 iPhone 分类器创建了一个 S3 存储桶，其文件夹结构如下：

 Iphone_Classifier > Train > Yes_iphone_images > 1000 images
                           > No_iphone_images  > 1000 images

                   > Dev   > Yes_iphone_images > 100 images
                           > No_iphone_images  > 100 images

                   > Test  > 30 random images

权限 -> 阻止所有公共访问

第 2 步：

然后我去 Amazon Sagemaker，并创建一个实例：

我选择以下

 Name: some-xyz,
 Type: ml.t2.medium
 IAM : created new IAM role ( root access was enabled.)
 others: All others were in default

然后笔记本实例被创建并打开。

第 3 步：

打开实例后，

1. I used to prefer - conda_tensorflow2_p36 as interpreter
2. Created a new Jupyter notebook and stated.
3. I checked image classification examples but was confused, and most others used CSV files, but I want to retrieve images from S3 buckets.

问题：

1. How simply can we access the S3 bucket image dataset from the Jupiter Instances of Sagemaker? 
2. I exactly need the reference code to access the S3 bucket images. 
3. Is it a good approach to copy the data to the notebook or is it better to work from the S3 bucket.

我尝试过的是：

import boto3
client = boto3.client('s3')

# I tried this one and failed
#path = 's3://iphone/Train/Yes_iphone_images/100.png'

# I tried this one and failed
path = 's3://iphone/Test/10.png'

# I uploaded to the notebook instance an image file and when I try to read it works
#path = 'thiyaga.jpg'
print(path)

import cv2
from matplotlib import pyplot as plt
print(cv2.__version__)
plt.imshow(img)

【问题讨论】：

标签： python amazon-web-services amazon-s3 artificial-intelligence amazon-sagemaker

【解决方案1】：

如果你的图片是二进制编码的，你可以试试这个：

import boto3 
import matplotlib.pyplot as plt 

# Define Bucket and Key 
s3_bucket, s3_key = 'YOUR_BUCKET', 'YOUR_IMAGE_KEY'

with BytesIO() as f:
    boto3.client("s3").download_fileobj(Bucket=s3_bucket, Key=s3_key, Fileobj=f)
    f.seek(0)
    img = plt.imread(f, format='png')

在其他情况下，以下代码有效（基于documentation）：

s3 = boto3.resource('s3')

img = s3.Bucket(s3_bucket).download_file(s3_key, 'local_image.jpg')

在这两种情况下，您都可以使用plt.imshow(img) 可视化图像。

在您的路径示例path = 's3://iphone/Test/10.png' 中，存储桶和密钥将为s3_bucket = 'iphone' 和s3_key=Test/10.png

其他资源：https://boto3.amazonaws.com/v1/documentation/api/latest/guide/s3-example-download-file.html

【讨论】：

【解决方案2】：

我认为最方便的方法是将图像直接上传到笔记本存在的空间中。如果您在创建实例时指定，Sagemaker 的最小空间为 5G 或更多。首先，您可以使用您的shell 将整个数据集（文件夹）压缩到一个.tgz 文件中：

tar -cvzf <name of tarball>.tgz /path/to/source/folder

然后使用您的 jupyter 实例的上传按钮进行上传。下一步解压，在笔记本的单元格中运行以下命令：

!tar -xzvf <name of tarball>.tgz

此时您应该能够通过 python 语法简单地访问您的文件/文件夹，例如：

path = Path("./folder_name/")

【讨论】：

【解决方案3】：

一个简单的方法是使用 S3FS。您可以读取目录中的所有图像。例如，一个目录可以包含所有带有 iphone 的图像。

import s3fs
fs = s3fs.S3FileSystem()

no_iphone_images_directory = 's3://iphone_images/no_iphone_images'
filenames = fs.ls(no_iphone_images_directory)
for filename in filenames:
    if filename.lower().endswith(('.png', '.jpg', '.jpeg')):
        with fs.open(filename, 'rb') as f:
            # Do something with the image

【讨论】：