多流 SCP 从 EC2 传输大量小文件 [关闭]答案

【问题标题】：Multi stream SCP to transfer large amount of small files from EC2 [closed]多流 SCP 从 EC2 传输大量小文件 [关闭]
【发布时间】：2013-11-15 10:07:23
【问题描述】：

我正在使用 scp 从我的 EC2 实例下载数百万个小文件 (100 - 1000 kb) 文件。 scp 似乎一次传输一个文件，并没有完全利用我的 1 gbps 连接。

有没有更有效的方法来下载文件？由于各种技术原因，实现和下载不是一种选择。

【问题讨论】：

标签： ssh amazon-ec2 scp

【解决方案1】：

看看rsync。它也可以通过 ssh 工作。

【讨论】：

【解决方案2】：

如果您仍然可以使用tar，但无法在远程主机上创建 tarball，您可以尝试以下操作：

ssh ec2instance "tar c /path/to/source" | tar x -C /path/to/destination

您可以使用tar 或pipe viewer 的v 选项来获取有关转移的反馈。

如果上述方法也不是一个选项，请尝试并行运行几个（十几个）scp，以减少由许多小文件引起的开销的影响。

（还要确保文件系统不是瓶颈。）

【讨论】：