如何使用 AWS Data Pipeline 将文件从一个 S3 存储桶/目录传输到另一个答案

【问题标题】：How to transfer a file/files from one S3 bucket/directory to another using AWS Data Pipeline如何使用 AWS Data Pipeline 将文件从一个 S3 存储桶/目录传输到另一个
【发布时间】：2013-12-24 11:39:00
【问题描述】：

我想使用 AWS 数据管道将文件（即复制到目标目录并从源目录中删除）从一个 S3 存储桶目录传输到另一个。

我尝试使用 ShellCommandActivity 并制作了一个脚本，可以将一个/多个文件从一个 S3 存储桶/目录移动到另一个。但是结果是它只复制到了目标S3的bucket/目录，并没有删除S3源目录下的文件。

提前致谢！

【问题讨论】：

标签： amazon-web-services amazon-s3 amazon-data-pipeline

【解决方案1】：

如果您想从 S3 存储桶中删除某些内容，您必须明确删除它；除了复制和删除之外，没有“移动”的原生概念。

也就是说，我上次尝试时发现无法从数据管道中的 S3 存储桶资源中删除。我不得不改用 s3cmd 来解决这个问题。

【讨论】：

您好，感谢您的信息。您是否在数据管道的 ShellCommandActivity 中运行了 s3cmd？
你能分享一下你是怎么做到的吗？
真的没什么可分享的：只需设置一个 ShellCommandActivity 并将您要执行的命令放入其中或让它运行存储在 S3 上的 shell 脚本。
嗨，我有一个存储在 S3 中的 shell 脚本，其中包含以下命令：#!/bin/bash s3cmd mv ${INPUT1_STAGING_DIR}/* ${OUTPUT1_STAGING_DIR}/;我尝试在本地运行该命令，它工作正常。但是，当我尝试在 AWS 数据管道中运行脚本时，出现以下错误：原因：脚本返回，退出状态为 127，您能帮忙检查一下我的脚本或数据管道中有什么问题或缺少什么吗？谢谢前进！
嗨，您是否使用/创建了 Task Runner 来运行您的 ShellCommandActivity？