如何以更大的带宽从 ENA 下载数据文件？

Question

您好，我正在尝试使用以下循环命令从 ENA ftp 服务器下载大约 4000 个 Fastq 文件：

while read i; do n=$(echo "$i" | sed -E 's/(SRR...).*/\1/'); wget ftp://ftp.sra.ebi.ac.uk/vol1/fastq/$n/$i/$i*; done  < IDS.txt 

但是，我有 20 mb 的下载带宽，但是当我下载时，下载速度仅在 100-350 kbs 之间，因此下载数据需要很长时间。有人对 aspera 有想法吗？或其他任何人都可以提供帮助或推荐的东西？

Answer 1

您看到带宽使用量低于总可用带宽可能有两个原因：

1. 您的 ISP 会根据每个连接限制您的带宽。也就是说，每个 HTTP(S) 连接都限制了带宽。在这种情况下，使用多个线程/进程可能非常有用。为此，我建议使用GNU Wget2。 Wget2 是 Wget 的下一个版本，它支持多线程。它仍处于 Alpha 阶段，但我们认为它已准备好供公众使用。
2. 服务器的带宽受到限制。如果服务器限制了总带宽，则您无法提高速度。

完全披露：我是 GNU Wget 和 GNU Wget2 的维护者。