如何使用python将空的子文件夹上传到S3

Question

以下代码可以正常工作，除非有一个子文件夹，其中没有任何文件，那么该子文件夹将不会出现在 S3 中。例如 如果 /home/temp/subfolder 没有文件，则子文件夹将不会显示在 S3 中。如何更改代码以便在 S3 中也上传空文件夹？ 我试着写某事。 （见下面的注释），但不知道如何调用 put_object() 到空子文件夹。

#!/usr/bin/env python
import os
from boto3.session import Session

path = "/home/temp"
session = Session(aws_access_key_id='XXX', aws_secret_access_key='XXX')
s3 = session.resource('s3')

for subdir, dirs, files in os.walk(path):
    # note: if not files ......
    for file in files:
        full_path = os.path.join(subdir, file)
        with open(full_path, 'rb') as data:

s3.Bucket('my_bucket').put_object(Key=full_path[len(path)+1:],    
Body=data)

此外，我尝试调用此函数来检查子文件夹或文件是否存在。它适用于文件，但不适用于子文件夹。如何检查子文件夹是否存在？ （如果有子文件夹我就不上传了）

def check_exist(s3, bucket, key):
    try:
        s3.Object(bucket, key).load()
    except botocore.exceptions.ClientError as e:
        return False
    return True

顺便说一句，我参考了上面的代码

check if a key exists in a bucket in s3 using boto3

和

http://www.developerfiles.com/upload-files-to-s3-with-python-keeping-the-original-folder-structure/

感谢他们分享代码。

Answer 1

S3 中不存在目录（文件夹、子文件夹等）。

当您将此文件复制到空的 S3 存储桶 /mydir/myfile.txt 时，只有文件 myfile.txt 会复制到 S3。未创建目录mydir，因为该字符串是文件名mydir/myfile.txt 的一部分。实际文件名是完整路径，不存在或创建子目录。

S3 在列出存储桶中的文件时使用前缀来模拟目录。如果您指定mydir/，则将返回所有以mydir/ 开头的S3 对象，包括mydir/anotherfolder/myotherfile.txt 等对象。 S3 支持/ 等分隔符，以便创建子目录的外观。

注意：S3 对象的文件名开头没有/。

Listing Keys Hierarchically Using a Prefix and Delimiter