从远程服务器复制到 s3 的文件不会在 s3 存储桶上显示状态

Question

我正在将近 7 TB 的文件和文件夹从远程服务器上传到 s3 存储桶，但我在 s3 存储桶上看不到任何文件。我只能在 s3 上看到几个已成功复制的文件。

我有一个 ec2 服务器，我使用这个 link 安装了一个 s3 存储桶

在远程服务器上，我使用以下脚本。我也测试了这个脚本，它在小文件中运行良好

rsync -uvPz --recursive -e "ssh -i /tmp/key.pem" /eb_bkup/OMCS_USB/* appadmin@10.118.33.124:/tmp/tmp/s3fs-demo/source/backups/eb/ >> /tmp/log.txt &

我正在生成的日志文件显示正在复制文件以及所有相关信息，例如传输速度、文件名等。但是在 s3 存储桶上，复制第一个文件后我看不到任何文件。

每个文件大小从 500MB 到 25GB。

为什么我在 S3 上看不到这些文件？

Answer 1

Amazon S3 是一种对象存储服务，而不是文件系统。我建议您使用AWS Command-Line Interface (CLI) 来复制文件，而不是将 S3 挂载为磁盘。

AWS CLI 包含一个aws s3 sync 命令，非常适合您的目的——它将在两个位置之间同步文件。因此，如果出现问题，您可以重新运行它，它不会复制已经复制的文件。

Answer 2

所以我面临的 rsync 问题是在目标 ec2 上复制文件并首先创建一个临时文件，然后将其写入 S3 存储桶。因此，多个 rsync 作业正在运行，并且 EC2 服务器上的本地 ebs 卷存储已满。这就是为什么 rsync 无法创建临时文件并一直在套接字上复制/写入的原因。