使用 Python 请求将图像和元数据上传到公共 Amazon S3 存储桶

Question

我知道，有用于 Python 的 boto 库，但是，我想做的只是将包括元数据在内的大量图像文件上传到公共 S3 存储桶。图片应该放在存储桶内的各个子目录中。

使用 cURL，这应该可以工作：

curl -v -F "key=test/test.jpg" -F "file=@test.jpg" http://my-public-bucket.s3.amazonaws.com/

所以我认为这应该只适用于 urllib、urllib2 和/或 Python 请求。但是怎么做？我对 Amazon S3 和 cURL 完全陌生。

另外，将一些元数据与图像一起存储的最佳方式是什么？额外的 JSON 字符串文件？

Answer 1

要上传到签名的网址和请求，我必须这样做：

with open('photo_1.jpg', 'rb') as content_file:
    content = content_file.read()
result = requests.put(url=upload_url, headers={}, data=content)

这很糟糕，因为它会将所有内容都加载到内存中，但它应该可以帮助您克服最初的困难。

另外，在使用 curl 时，我必须使用不同的选项：

curl -X PUT --upload-file photo_1.jpg <url>

注意：当我使用 boto 在服务器上创建 url 时，我设置了 headers=None，这样标题就不会成为问题。

Answer 2

您的 cURL 字符串大致转换为以下内容：

import requests

url = 'http://my-public-bucket.s3.amazonaws.com/'
files = {
    'key': ('', 'test/test.jpg'),
    'file': open('test.jpg', 'rb'),
}

r = requests.post(url, files=files)

Requests 的分段上传语法的一般形式见this StackOverflow answer。

Answer 3

仅适用于 Python 请求：

import requests
r = requests.post('my_public_bucket', files={'file': open('/path/test.txt', 'rb')}, data={'key': 'test/test.txt'})

Answer 4

使用boto（2.6.0 版）你会这样做：

import boto

connection = boto.connect_s3()
bucket = connection.get_bucket('mybucket')
key = bucket.new_key('myimage.jpg')
key.set_contents_from_filename('myimage.jpg')
key.set_metadata(...)

确保您已在环境变量 AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY 中获得凭据。

就是这样。