亚马逊AWS |从 SFTP 拉取数据答案

【问题标题】：AWS | Data pull from SFTP亚马逊AWS |从 SFTP 拉取数据
【发布时间】：2023-03-31 05:16:01
【问题描述】：

我打算编写一个数据管道，将数据从本地 SFTP 服务器拉到 S3。我怎样才能做到这一点？我只对 AWS 特定的服务感兴趣。

【问题讨论】：

这不是programming question。

【解决方案1】：

AWS 提供了一种将文件从任何本地服务器直接传输到 s3 的本地方式AWS Transfer Family。它是用于 S3 的多可用区、高可用性、可大规模扩展的 SFTP 接口。基本上，您将运行一个 cron 或调度程序进程，通过 AWS SFTP 服务器将本地 SFTP 服务器文件传输到 S3 存储桶中。

文档链接 - AWS Transfer Family

这里唯一的问题是它的定价。它的成本略高。有价格较低的第三方工具，例如 SFTP Gateway for AWS，可以在 AWS 市场中找到

文档链接 - SFTP Gateway

最后，如果您的用例很简单，每天只上传很少的 SFTP，解决方案是使用 T2/T3 EC2 实例和 cronjob 来运行自定义开发的管道脚本，从本地 SFTP 服务器中提取数据。

【讨论】：

【解决方案2】：

假设你有一个密钥文件来连接你的AWS实例，你可以使用scp在文件传输命令中指定：

scp -i ~/.ssh/<aws_key>.pem <path_to_source_file> <aws_user>@<aws_ip>:<destination_path>

【讨论】：