AWS 同步仅将新文件或更新文件部署到 s3

Question

我编写了一个 Github 操作脚本，它从文件夹 migrations 获取文件并将其上传到 s3。此管道的问题是目录中的所有其他文件也会更新。我怎样才能只更新新的或更新的文件？ 这是当前的脚本。

name: function-name
on:
  push:
    branches:
      - dev
jobs:
  deploy:
    runs-on: ubuntu-latest
    strategy:
      matrix:
        node-version: [10.x]
    steps:
      - uses: actions/checkout@master
      - name: Use Node.js ${{ matrix.node-version }}
        uses: actions/setup-node@v1
        with:
          node-version: ${{ matrix.node-version }}
      - name: Install Dependencies
        run: npm install
      - name: Configure AWS Credentials
        uses: aws-actions/configure-aws-credentials@v1
        with:
          aws-access-key-id: ${{ secrets.AWS_ACCESS_KEY_ID }}
          aws-secret-access-key: ${{ secrets.AWS_SECRET_ACCESS_KEY }}
          aws-region: eu-central-1
      - name: Deploy file to s3
        run: aws s3 sync ./migration/ s3://s3_bucket

Answer 1

您可以尝试 GitHub Action jakejarvis/s3-sync-action，它使用 vanilla AWS CLI 将目录（来自您的存储库或在您的工作流程中生成）与远程 S3 存储桶同步。

它基于aws s3 sync，应该启用增量备份，而不是复制/修改每个文件。

将migration 文件夹添加为“source_dir”

  steps:
  ...
    - uses: jakejarvis/s3-sync-action@master
      with:
        args: --acl public-read --follow-symlinks --delete
      env:
        AWS_S3_BUCKET: ${{ secrets.AWS_S3_BUCKET }}
        AWS_ACCESS_KEY_ID: ${{ secrets.AWS_ACCESS_KEY_ID }}
        AWS_SECRET_ACCESS_KEY: ${{ secrets.AWS_SECRET_ACCESS_KEY }}
        AWS_REGION: 'us-west-1'   # optional: defaults to us-east-1
        SOURCE_DIR: 'migration'   # optional: defaults to entire repository

但是，taseenbcomments：

这不能按预期工作（如增量备份）。

S3 sync cli 命令每次在 GitHub Action 中运行时都会复制所有文件。
我相信当我们在 Docker 映像中克隆存储库以执行操作时会发生这种情况（这就是 jakejarvis/s3-sync-action 所做的）。

我认为使用 S3 同步没有完美的解决方案。

但如果您确定您的文件总是会改变大小，您可以在 args 中使用 --size-only。
它会忽略大小相同的文件，因此在大多数情况下可能不安全。