使用 shell 脚本（centos 环境）从 postgresql artifacoty 获取最新版本的 postgresql 版本答案

【问题标题】：Fetch latest version of postgresql version from the postgresql artifacoty using shell script (centos environment)使用 shell 脚本（centos 环境）从 postgresql artifacoty 获取最新版本的 postgresql 版本
【发布时间】：2021-10-01 01:31:43
【问题描述】：

我想获取上传到 PostgreSQL 工件的最新 tar 文件的名称，并希望自动化相同的过程。

我指的是：https://ftp.postgresql.org/pub/odbc/versions/src/

我正在从上面的 URL 中提取要解析的 XML

XML 文件看起来像这样：

<html>
<head><title>Index of /pub/odbc/versions/src/</title></head>
<body bgcolor="white">
<h1>Index of /pub/odbc/versions/src/</h1><hr><pre><a href="../">../</a>
    <a href="psqlodbc-11.00.0000.tar.gz">psqlodbc-11.00.0000.tar.gz</a>                         17-Nov-2018 13:50              918461
    <a href="psqlodbc-11.01.0000.tar.gz">psqlodbc-11.01.0000.tar.gz</a>                         24-May-2019 14:28              919372
    <a href="psqlodbc-12.00.0000.tar.gz">psqlodbc-12.00.0000.tar.gz</a>                         11-Oct-2019 14:14              920713
    <a href="psqlodbc-12.01.0000.tar.gz">psqlodbc-12.01.0000.tar.gz</a>                         07-Jan-2020 13:53              932672
    <a href="psqlodbc-12.02.0000.tar.gz">psqlodbc-12.02.0000.tar.gz</a>                         26-May-2020 13:01              937847
    <a href="psqlodbc-13.00.0000.tar.gz">psqlodbc-13.00.0000.tar.gz</a>                         19-Nov-2020 09:53              940031
    <a href="psqlodbc-13.01.0000.tar.gz">psqlodbc-13.01.0000.tar.gz</a>                         02-May-2021 12:27              941064
    <a href="psqlodbc-7.2.3.tar.gz">psqlodbc-7.2.3.tar.gz</a>                                   16-Oct-2002 09:09              367168
    <a href="psqlodbc-7.2.4.tar.gz">psqlodbc-7.2.4.tar.gz</a>                                   12-Nov-2002 08:41              406385
    <a href="psqlodbc-7.2.5.tar.gz">psqlodbc-7.2.5.tar.gz</a>                                   29-Nov-2002 16:10              415885
</pre></hr></body>
</html>

我想根据修改日期获取上传到 XML 上的最新版本。

我试过了

xmllint --xpath "string(//a[last()]/text())" myfile.xml

但它给出了输出：psqlodbc-7.2.5.tar.gz（这不是我想要的）

我希望输出为：psqlodbc-13.01.0000.tar.gz（因为它是在 2021 年 5 月 2 日 12:27 最新修改的）

找到解决方法：

artifactCount=$(xmllint --xpath "count(//a)" psql.xml)

latestModified="20010101"

for (( i=2; i<=${artifactCount}; i++ ))
do
  dateModified=$(xmllint --xpath "string(//pre/text()[$i])" psql.xml)
  dateModified=$(echo ${dateModified} | awk '{$NF="";sub(/[ \t]+$/,"")}1')
  dateModified=$(echo ${dateModified} | awk '{$NF="";sub(/[ \t]+$/,"")}1')
  dateModified=$(date -d "$dateModified" +%Y%m%d)
  
  if [ ${dateModified} -gt ${latestModified} ]
    then
        latestModified=${dateModified}
        j=${i}
    fi 
done

psqlfile=$(xmllint --xpath "string(//a[${j}]/text())" psql.xml)

echo "Latest file found : ${psqlfile} modified on ${latestModified} "

psqlversion=${psqlfile#"psqlodbc-"}
psqlversion=${psqlversion%".tar.gz"}

【问题讨论】：

标签： xml shell xpath xml-parsing centos

【解决方案1】：

xmllint 无法打开 url，仅支持 XPath 1.0，我上次检查过。我建议你试试xidel。

$ xidel -s https://ftp.postgresql.org/pub/odbc/versions/src/ -e 'x:lines(//pre)'
../
psqlodbc-07.03.0100.tar.gz                        15-May-2003 15:56             446075
psqlodbc-07.03.0200.tar.gz                        22-Oct-2003 13:46             451263
[...]
psqlodbc-7.2.5.tar.gz                             29-Nov-2002 16:10             415885

$ xidel -s https://ftp.postgresql.org/pub/odbc/versions/src/ -e '
  x:lines(//pre)[position() gt 1]
'
psqlodbc-07.03.0100.tar.gz                        15-May-2003 15:56             446075
psqlodbc-07.03.0200.tar.gz                        22-Oct-2003 13:46             451263
psqlodbc-08.00.0100.tar.gz                        02-Mar-2005 14:35             586241
[...]
psqlodbc-7.2.5.tar.gz                             29-Nov-2002 16:10             415885

（x:lines() 是 tokenize(...,'\r\n?|\n') 的简写，并将输入转换为一个序列，其中每个新行都是另一个项目）

$ xidel -s https://ftp.postgresql.org/pub/odbc/versions/src/ -e '
  x:lines(//pre)[last()] ! tokenize(.,"\s{2,}")
'
psqlodbc-7.2.5.tar.gz
29-Nov-2002 16:10
415885

$ xidel -s https://ftp.postgresql.org/pub/odbc/versions/src/ -e '
  x:lines(//pre)[last()] ! parse-ietf-date(tokenize(.,"\s{2,}")[2])
'
2002-11-29T16:10:00Z

$ xidel -s https://ftp.postgresql.org/pub/odbc/versions/src/ -e '
  for $release in x:lines(//pre)[position() gt 1]
  order by parse-ietf-date(tokenize($release,"\s{2,}")[2])
  return $release
'
psqlodbc-7.2.3.tar.gz                             16-Oct-2002 09:09             367168
psqlodbc-7.2.4.tar.gz                             12-Nov-2002 08:41             406385
psqlodbc-7.2.5.tar.gz                             29-Nov-2002 16:10             415885
[...]
psqlodbc-13.01.0000.tar.gz                        02-May-2021 12:27             941064

$ xidel -s https://ftp.postgresql.org/pub/odbc/versions/src/ -e '
  (
    for $release in x:lines(//pre)[position() gt 1]
    order by parse-ietf-date(tokenize($release,"\s{2,}")[2])
    return $release
  )[last()]
'
psqlodbc-13.01.0000.tar.gz                        02-May-2021 12:27             941064

$ xidel -s https://ftp.postgresql.org/pub/odbc/versions/src/ -e '
  resolve-uri(
    (
      for $release in x:lines(//pre)[position() gt 1]
      let $item:=tokenize($release,"\s{2,}")
      order by parse-ietf-date($item[2])
      return $item[1]
    )[last()]
  )
'
https://ftp.postgresql.org/pub/odbc/versions/src/psqlodbc-13.01.0000.tar.gz

【讨论】：

【解决方案2】：

试试这个：

sed 's/\([0-9]\{2\}\)-\([a-zA-Z]\{3\}\)-\([0-9]\{4\}\)/\1 \2 \3/' myfile.xml | sort -k5,5 -k4,4M -k3,3 -k6,6 | grep -oP '(?<=">).*(?=<)' | tail -1

首先，使用sed 格式化文件的日期，如2018 年11 月17 日 将- 替换为空白，然后按sort -k 排序。

然后按顺序使用sort -k：year, month, day, time。

Last 使用 grep 和 tail 擦除最后一个文件名。

另外，我发现最后一列像941064，也是按顺序排序的，所以只能使用这个命令：

sort -k5,5 myfile.xml | grep -oP '(?<=">).*(?=<)' | tail -1

【讨论】：