允许用户将内容上传到 s3

Question

我在区域 BUCKET_REGION 上有一个名为 BUCKET 的 S3 存储桶。我正在尝试允许我的网络和移动应用程序的用户将图像文件上传到这些存储桶，前提是他们满足基于 Content-Type 和 Content-Length 的某些限制（即，我只想允许小于 3mbs 的 jpeg上传）。上传后，文件应该可以公开访问。

基于对 AWS 文档的大量挖掘，我假设该过程在我的前端应用程序上应该如下所示：

const a = await axios.post('my-api.com/get_s3_id');

const b = await axios.put(`https://{BUCKET}.amazonaws.com/{a.id}`, {
   // ??
   headersForAuth: a.headersFromAuth,
   file: myFileFromSomewhere // i.e. HTML5 File() object
});

// now can do things like <img src={`https://{BUCKET}.amazonaws.com/{a.id}`} />
// UNLESS the file is over 3mb or not an image/jpeg, in which case I want it to be throwing errors

在我的后端 API 上我会做类似的事情

import aws from 'aws-sdk';
import uuid from 'uuid';
app.post('/get_s3_id', (req, res, next) => {
  // do some validation of request (i.e. checking user Ids)
  const s3 = new aws.S3({region: BUCKET_REGION});
  const id = uuid.v4();
  // TODO do something with s3 to make it possible for anyone to upload pictures under 3mbs that have the s3 key === id
  res.json({id, additionalAWSHeaders});
});

我不确定我应该查看哪些确切的 S3 方法。

---

以下是一些不起作用的事情：

• 我看到很多提到（一个非常古老的）API 可通过s3.getSignedUrl('putObject', ...) 访问。但是，这似乎不再支持可靠地设置ContentLength——至少不再支持。 （见https://stackoverflow.com/a/28699269/251162。）

• 我还看到了一个使用HTTP POST 和form-data API 的更接近工作的示例，该API 也很旧。我想如果没有其他选择，这可能会完成，但我担心它不再是“正确”的做事方式——此外，它似乎做了很多手动加密等而不使用官方节点开发工具包。 （见https://stackoverflow.com/a/28638155/251162。）

Answer 1

这是我知道我们的项目中有的东西，所以我将向您展示部分代码：

您首先需要发布到您自己的服务器以获得上传的凭据， 从那里您将返回从客户端上传到 S3 的参数。

这些是您发送到 aws s3 服务的参数，您将需要存储桶、上传路径和文件

 let params = {
        Bucket: s3_bucket,
        Key: upload_path,
        Body: file_itself
    };

这是我实际上传到 s3 的代码

config.credentials = new AWS.Credentials(credentials.accessKeyId, 
credentials.secretAccessKey, credentials.sessionToken);
    let s3 = new S3(config);
    return s3.upload(params, options).on("httpUploadProgress", handleProgress);

当然，您从后端获得的所有这些凭据项。

Answer 2

在后端，您需要生成一个定时、预签名的 URL，并将该 URL 发送到客户端以访问 S3 对象。根据您的后端实施技术，您可以使用 AWS CLI 或 SDK（例如用于 Java、.Net、Ruby 或 Go）。

请参考CLI docs和SDK docs和more SDK

链接生成不直接支持内容大小限制。但是该链接只是为了传递 AWS 用户拥有的访问权限。

要在上传时使用策略限制文件大小，您必须在存储桶上创建 CORS 策略并使用 HTTP POST 进行上传。请参阅this link。

Answer 3

您需要熟悉 Amazon Cognito，尤其是身份池。

使用 Amazon Cognito Sync，您可以跨客户端平台、设备和操作系统检索数据，因此，如果用户开始在手机上使用您的应用程序，然后又切换到平板电脑，则保留的应用程序信息仍可用于那个用户。

在此处阅读更多信息：Cognito identity pools

创建新的身份池后，您可以在使用 S3 JavaScript SDK 时引用它，这将允许您上传内容而不会向客户端公开任何凭据。

此处示例：Uploading to S3

请通读所有内容，尤其是“配置 SDK”部分。

谜题的第二部分 - 验证。

我会着手实施客户端验证（如果可能的话），以避免在出现错误之前出现网络延迟。如果您选择在 S3 或 AWS Lambda 上实施验证，您正在寻找等待文件到达 AWS 的等待时间 - 网络延迟。

Answer 4

您的服务器就像一个代理，还负责授权、验证等。 部分代码sn-p：

 upload(config, file, cb) {
  const fileType = // pass with request or generate or let empty
  const key = `${uuid.v4()}${fileType}`; // generate file name:
  const s3 = new AWS.S3();
  const s3Params = {
   Bucket: config.s3_bucket,
   Key: key,
   Body: file.buffer
 };

 s3.putObject(s3Params, cb);
}

然后您可以将密钥发送给客户端并提供进一步的访问权限。

Answer 5

我认为在这种情况下，直接 POST 到 S3 并跳过后端服务器可能会更好。

您可以做的是定义一个策略，明确指定可以上传到什么位置，然后使用 AWS 秘密访问密钥对该策略进行签名（使用 AWS sig v4，可以使用 this 生成策略） .

如果可以在AWS docs 中查看，策略和签名的示例用法

对于您的用途，您可以指定以下条件：

conditions: [
   ['content-length-range, 0, '3000000'],
   ['starts-with', '$Content-Type', 'image/']
]

这会将上传限制为 3Mb，Content-Type 仅限以 image/ 开头的项目

此外，您只需为策略生成一次签名（或每当它更改时），这意味着您无需向服务器请求即可获得有效的策略，您只需在 JS 中对其进行硬编码。何时/如果您需要更新，只需重新生成策略和签名，然后更新 JS 文件。

编辑：没有通过 SDK 的方法来执行此操作，因为它意味着直接从网页上的表单发布，即可以在没有 javascript 的情况下工作。

编辑 2：如何使用标准 NodeJS 包签署策略的完整示例：

import crypto from 'crypto';

const AWS_ACCESS_KEY_ID = process.env.AWS_ACCESS_KEY_ID;
const AWS_SECRET_ACCESS_KEY = process.env.AWS_SECRET_ACCESS_KEY;
const ISO_DATE = '20190728T000000Z';
const DATE = '20161201';
const REGION = process.env.AWS_DEFAULT_REGION || 'eu-west-1';
const SERVICE = 's3';
const BUCKET = 'your_bucket';

if (!AWS_ACCESS_KEY_ID || !AWS_SECRET_ACCESS_KEY) {
    throw new Error('AWS credentials are incorrect');
}

const hmac = (key, string, encoding) => {
    return crypto.createHmac("sha256", key).update(string, "utf8").digest(encoding);
};

const policy = {
    expiration: '2022-01-01T00:00:00Z',
    conditions: [
        {
            bucket: BUCKET,
        },
        ['starts-with', '$key', 'logs'],
        ['content-length-range', '0', '10485760'],
        {
            'x-amz-date': ISO_DATE,
        },
        {
            'x-amz-algorithm': 'AWS4-HMAC-SHA256'
        },
        {
            'x-amz-credential': `${AWS_ACCESS_KEY_ID}/${DATE}/${REGION}/${SERVICE}/aws4_request`
        },
        {
            'acl': 'private'
        }
    ]
};

function aws4_sign(secret, date, region, service, string_to_sign) {
    const date_key = hmac("AWS4" + secret, date);
    const region_key = hmac(date_key, region);
    const service_key = hmac(region_key, service);
    const signing_key = hmac(service_key, "aws4_request");
    const signature = hmac(signing_key, string_to_sign, "hex");

    return signature;
}

const b64 = new Buffer(JSON.stringify(policy)).toString('base64').toString();
console.log(`b64 policy: \n${b64}`);
const signature = aws4_sign(AWS_SECRET_ACCESS_KEY, DATE, REGION, SERVICE, b64);
console.log(`signature: \n${signature}\n`);