使用 Wget / Curl 仅下载最新文件答案

【问题标题】：Downloading Only Newest File Using Wget / Curl使用 Wget / Curl 仅下载最新文件
【发布时间】：2016-05-30 19:53:03
【问题描述】：

如何使用 wget 或 curl 下载目录中的最新文件？

这看起来很简单，但是文件名并不总是可预测的，并且随着新数据的进入，它将被随机文件名替换。

具体来说，我希望下载数据的目录有如下命名结构，其中最后一串字符是随机生成的时间戳：

MRMS_RotationTrackML1440min_00.50_20160530-175837.grib2.gz
MRMS_RotationTrackML1440min_00.50_20160530-182639.grib2.gz
MRMS_RotationTrackML1440min_00.50_20160530-185637.grib2.gz

随机生成的时间戳格式为：{hour}{minute}{second}

有问题的目录在这里：http://mrms.ncep.noaa.gov/data/2D/RotationTrackML1440min/

是否必须在标头中包含某些内容，您可以在其中使用 curl 筛选最后修改的时间戳？

在此先感谢您的任何帮助。

【问题讨论】：

嗯，“随机生成的时间戳”？为什么要这样做？
@StefanHegny - 数据不是以精确的增量出现的，所以如果我要创建一个脚本来获取它，那么从某种意义上说它是随机的，比如说每两分钟。
不是个人意思，只是听起来有点好笑——没关系
@StefanHegny - 是的哈哈，我试图找到一种方法来描述文件的零星创建。
有时我需要更长的时间才能得到它......我想现在我明白了，但无论如何不能比amaksr做得更好......干杯

标签： bash shell curl wget

【解决方案1】：

您可以定期运行以下命令：

wget -r -nc --level=1 http://mrms.ncep.noaa.gov/data/2D/RotationTrackML1440min/

它会递归下载上次运行后目录中的新内容。

【讨论】：