如何在 shell 脚本中即时解释变量？

Question

我正在使用 JQ 在 shell 脚本中读取 JSON。在这里，我无法即时解释我的 shell 脚本中的变量 $HOME、$HOST、$PEMFILE。

JSON 文件：

{
    "script": {
    "install": "${HOME}/lib/install.sh $HOST $PEMFILE",
    "Setup": "${HOME}/lib/setup.sh $HOST $PEMFILE $VAR1 $VAR2"
    }

}

Shell 脚本：

#!/bin/bash
examplefile="../lib/example.json"
HOST=ec2-..-...-...-...us-west-2.compute.amazonaws.com
PEMFILE=${HOME}/test.pem

installScript=($(jq '.script.install' $examplefile))
bash "$installScript"

有没有一种方法可以在不修改 JSON 的情况下即时解释这些变量？

P.S 我不想使用 eval。

Answer 1

使用gnu实用程序envsubst很容易：

installScript=$(jq -r '.script.install' "$examplefile" | envsubst)

Answer 2

这是使用env 和gsub 执行替换的解决方案。

请注意，env 要求将变量作为环境变量而不是 shell 变量传递。

#!/bin/bash

examplefile="../lib/example.json"
HOST=ec2-..-...-...-...us-west-2.compute.amazonaws.com
PEMFILE=${HOME}/test.pem

export HOST
export PEMFILE
installScript=$(jq -Mr '
   .script.install | gsub("(?<x>[$][{]?\\w+[}]?)"; env[.x|gsub("[${}]+";"")] )
' $examplefile)

echo $installScript

样本输出

/home/runner/lib/install.sh ec2-..-...-...-...us-west-2.compute.amazonaws.com /home/runner/test.pem

Try it online!

Answer 3

具体解决办法

这是针对上述问题的 jq 解决方案，尽管它仅适用于“全局”环境变量。

def substitute:
  gsub("\\${HOME}"; env.HOME)
  | gsub("\\$HOST"; env.HOST)
  | gsub("\\$PEMFILE"; env.PEMFILE)
  | gsub("\\$VAR1"; env.VAR1)
  | gsub("\\$VAR2"; env.VAR2)
  ;

walk( if type=="string" then substitute else . end )

如果您的 jq 还没有 walk/1，请升级您的 jq 或从 https://github.com/stedolan/jq/blob/master/src/builtin.jq 获取 def

上面的解决方案有点脆弱，但它可以很容易地被鲁棒化或泛化，如下一节所示。

一般解决方案

walk(if type == "string"
     then gsub("\\$(?<x>[A-Za-z_][A-Za-z0-9_]+)"; "\(env[.x])") 
          | gsub("\\${(?<x>[A-Za-z_][A-Za-z0-9_]+)}"; "\(env[.x])") 
     else . end)

Answer 4

#!/bin/sh

TMP=$(mktemp /tmp/$$.XXX)

cat<<E_O_F > $TMP
cat <<EOF
$(cat so-dollar-variables.json)
EOF
E_O_F

. $TMP

/bin/rm "$TMP"

Answer 5

多年来，我一直断断续续地使用它。我想我终于得到了一个不错的纯 bash 解决方案：使用正则表达式匹配和间接参数替换

# read the file
json=$(< file.json)
echo step 0
echo "$json"

# set the relevant vars, just plain shell variables
HOST=_host_
PEMFILE=_pemfile_
VAR1=_var1_
VAR2=_var2_

# replace '$var' forms
while [[ $json =~ ("$"([[:alnum:]_]+)) ]]; do 
    json=${json//${BASH_REMATCH[1]}/${!BASH_REMATCH[2]}}
done; 
echo
echo step 1
echo "$json"

# replace '${var}' forms
while [[ $json =~ ("$""{"([[:alnum:]_]+)"}") ]]; do 
    json=${json//${BASH_REMATCH[1]}/${!BASH_REMATCH[2]}}
done
echo
echo step 2
echo "$json"

输出

step 0
{
    "script": {
    "install": "${HOME}/lib/install.sh $HOST $PEMFILE",
    "Setup": "${HOME}/lib/setup.sh $HOST $PEMFILE $VAR1 $VAR2"
    }

}

step 1
{
    "script": {
    "install": "${HOME}/lib/install.sh _host_ _pemfile_",
    "Setup": "${HOME}/lib/setup.sh _host_ _pemfile_ _var1_ _var2_"
    }

}

step 2
{
    "script": {
    "install": "/home/jackman/lib/install.sh _host_ _pemfile_",
    "Setup": "/home/jackman/lib/setup.sh _host_ _pemfile_ _var1_ _var2_"
    }

}

魔法是：

1. 正则表达式，我在其中捕获了$VAR 和VAR，并且

   [[ $json =~ ("$"([[:alnum:]_]+)) ]]
   # ..........1   2             21
   

2. 参数替换，这里我搜索字符串"$VAR"并将其替换为间接变量扩展${!VAR}

   ${json//${BASH_REMATCH[1]}/${!BASH_REMATCH[2]}}