使用通配符通过 Invoke-WebRequest 下载文件

Question

我有一个 6 位数字的网址，每天都在变化。

示例网站： https://www.ecb.europa.eu/paym/coll/assets/html/dla/ea_MID/ea_csv_160126.csv

这是变化的部分：160126

我不知道正确的语法，但作为一种伪代码：

$url = "https://www.ecb.europa.eu/paym/coll/assets
/html/dla/ea_MID/ea_csv_" + [0-9][0-9][0-9][0-9][0-9][0-9]+ ".csv"

我该如何写这个字符串？

为了回答 cmets，我使用它来将该文件下载到一个文件夹中，如下所示：

"https://www.ecb.europa.eu/paym/coll/assets/html/dla/ea_MID/ea_csv_" + [0-9]+[0-9]+[0-9]+[0-9]+[0-9]+[0-9] +".csv"
$output = "C:\MyFolder\SomeSubFolder\ScriptDownload"
$start_time = Get-Date

Invoke-WebRequest -Uri $url -OutFile $output  
Write-Output "Time taken: $((Get-Date).Subtract($start_time).Seconds) second(s)"  

Answer 1

您可以通过下载页面或使用 get-ElementById 等来解析下载页面的文件名。 我假设，这是原始下载page

这是您的下载网址：

    $Url = "https://www.ecb.europa.eu/paym/coll/assets/html/list-MID.en.html"
$page = Invoke-WebRequest -Uri $Url
$a = ($page.ParsedHtml.getElementsByTagName('table') | ? {$_.classname -eq 'ecb-contentTable'}).textContent
$filename =  $a.Substring($a.IndexOf('ea_csv_'), 17)
$DLURL =  "https://www.ecb.europa.eu/paym/coll/assets/html/dla/ea_MID/" + $filename

给予：

$DLURL
https://www.ecb.europa.eu/paym/coll/assets/html/dla/ea_MID/ea_csv_160126.csv

用你的来完成

$output = "C:\MyFolder\SomeSubFolder\ScriptDownload\" + $filename
Invoke-WebRequest -Uri $DLURL -OutFile $Output

完成了。

Answer 2

您所要求的无法完成。但是，有更好、更可靠的方法来获得您正在寻找的相同结果。

我和Martin 在一起。我还找到了他做的下载页面。更好的方法是获取链接。现在这可能不是获取信息的最佳方式，但它是朝着正确方向的开始。

请注意，这非常慢。主要是因为Invoke-WebRequest

$start_time = Get-Date
$output = "C:\MyFolder\SomeSubFolder\ScriptDownload"
# Browse to the page hosting the csv file.
$request = Invoke-WebRequest "https://www.ecb.europa.eu/paym/coll/assets/html/list-MID.en.html"
# Locate the uncompressed CSV file name from the page
$filename = $request.ParsedHtml.getElementsByTagName("a") | Where-Object{$_.nameProp -match "^ea_csv_\d{6}\.csv$"} | Select -ExpandProperty nameProp
$fileurl = "https://www.ecb.europa.eu/paym/coll/assets/html/dla/ea_MID/$filename"

# Get the file the is hosted today.
Invoke-WebRequest -Uri $fileurl -OutFile "$output\$filename" 
Write-Output "Time taken: $((Get-Date).Subtract($start_time).Seconds) second(s)"  

我们找到正确文件名的方法是使用^ea_csv_\d{6}\.csv$，它与恰好是“ea_csv_[6 位].csv”的名称相匹配。

Answer 3

这 6 位数字是编码为 YYMMDD 的日期，对吗？如果是这样，您可以使用以下命令生成当天的 URL：

$currentDay = $(get-date).ToString("yyMMdd")
$url = "https://www.ecb.europa.eu/paym/coll/assets/html/dla/ea_MID/ea_csv_$currentDay.csv"