S3 将对象与分段上传

Question

我已经尝试了所有可能的方法，有人可以帮助我使用 S3 Put object synatx 进行分段上传。

x <- rawConnection(raw(0), "w")
utils::write.csv(gene_read_counts, x)
put_object(rawConnectionValue(x), object = "xxx/data/processed/gene_read_counts_test2.csv", bucket = "dev-bkt")
put_object(file = gene_read_counts, object = "xxx/data/processed/gene_read_counts_test2.csv", bucket = "dev-bkt", headers = c('x-amz-server-side-encryption' = 'AES256')) 

错误文件大小为 71984023。考虑设置 'multipart = TRUE'。parse_aws_s3_response(r, Sig, verbose = verbose) 中的错误：禁止 (HTTP 403)。

Answer 1

您的问题不是很清楚您要存储什么对象。 假设您要将大文件上传到 S3，请使用以下脚本。

import boto3

S3 = boto3.client('s3')

localFile = 'PATH/TO/LOCAL/FILE'
s3BucketName = 'MyS3Bucket'

S3.upload_file(localFile, s3BucketName, localFile)

这将自动分块您的大文件并并行上传。