替换属性文件中的环境变量

Question

在 Linux 中，假设我有以下文件（例如 conf.properties）：

HOST_URL=http://$HOSTNAME
STD_CONFIG=http://$HOSTNAME/config
USER_CONFIG=http://$HOSTNAME/config/$unconfigured

我想创建另一个替换所有环境变量的文件...例如假设环境变量 $HOSTNAME 是 'myhost' 并且 $unconfigured 没有设置，脚本应该产生以下输出：

HOST_URL=http://myhost
STD_CONFIG=http://myhost/config
USER_CONFIG=http://myhost/config/

我认为这可以通过某种 sed/awk 魔法在一个简单的单行中完成，但我不是专家，我的搜索一直在脉络中，所以感谢任何帮助。

编辑：

我应该提到该文件实际上可以是任何格式的文本文件，例如 xml。我只想用当前在环境中设置的任何内容替换任何看起来像 env 变量的内容。

Answer 1

这就是envsubst 的用途。

echo 'Hello $USER'
Hello $USER
echo 'Hello $USER' | envsubst
Hello malvineous

不过，您可能会更像这样使用它：

envsubst < input.txt > output.txt

envsubst 似乎是 GNU gettext 的一部分。

Answer 2

sed 's/$HOSTNAME/myhost/g;s/$unconfigured//g' yourfile.txt > another_file.txt

更新：

根据您问题中的更新，这不是一个好的解决方案。

更新2：

这是基于answer to a related question。我已经破解了它（我不熟悉 perl）来删除未定义的变量。

perl -p -e 's/\$\{([^}]+)\}/defined $ENV{$1} ? $ENV{$1} : $&/eg; s/\$\{([^}]+)\}//eg' yourfile.txt

应该适用于任何输入文本文件，但是您需要使用简化字符串匹配的${...} 格式定义变量。

（关于 eval 邪恶的咆哮已移至separate post，以免混淆读者）

Answer 3

“评价是邪恶的”

这不是答案，而是对using eval for this task 的回应。你真的真的不想那样做。

图表1：恶意模板文件：

HOST_URL=http://$HOSTNAME
STD_CONFIG=http://$HOSTNAME/config
USER_CONFIG=http://$HOSTNAME/config/$unconfigured
&& cat /etc/redhat-release

毫无戒心的用户：

[lsc@aphek]$ cat somefile | while read line; do echo $(eval echo `echo $line`); done
HOST_URL=http://xyz
STD_CONFIG=http://xyz/config
USER_CONFIG=http://xyz/config/
Red Hat Enterprise Linux WS release 4 (Nahant Update 9)

注意最后一行！

现在，想象一下可能性......

Answer 4

我会这样做：

# Set the $HOSTNAME and other variables
# Now evaluate the properties file as a shell script.
. config.properties
# Write the values
cat >somefile <<EOF
HOST_URL=$HOST_URL
STD_CONFIG=$STD_CONFIG
USER_CONFIG=$USER_CONFIG
EOF

编辑：或者这个非常讨厌的事情（我相信有更好的方法）

for name in HOST_URL STD_CONFIG USER_CONFIG
    echo "$name=$(eval echo `echo '$'$name`)" >>somefile
end

Answer 5

感谢@DarkDust，我想出了这个：

cat somefile | while read line; do echo $(eval echo `echo $line`); done > somefile.replaced

Answer 6

我用这个 oneliner 替换了文件中的${VARIABLE} 样式变量：

TARGET_FILE=/etc/apache2/apache2.conf; for VARNAME in $(grep -P -o -e '\$\{\S+\}' ${TARGET_FILE} | sed -e 's|^\${||g' -e 's|}$||g' | sort -u); do sed -i "s|\${$(echo $VARNAME)}|${!VARNAME}|g" ${TARGET_FILE}; done

我很确定有人可以使用 awk 以 1/3 的长度完成此操作……感觉挑战！ ;)

Answer 7

这是我喜欢用来解决这个确切问题的 Javascript 的 sn-p：

// A Javascript version of envsubst for our builds
// Purpose: replace all ocurrences of ${VAR} with the equivalent var from the environment from stdin
var readline = require('readline');

var rl = readline.createInterface({
  input: process.stdin,
  output: process.stdout,
  terminal: false
});

const environment = process.env;

rl.on('line', function(line) {
  const newLine = line.replace(/\$\{([a-zA-Z0-9_]+)\}/g, function(_match, variable) {
    const envVar = environment[variable];
    return envVar ? envVar : '';
  });

  process.stdout.write(`${newLine}\n`);
});

希望这对其他人有所帮助。

Answer 8

这是一个简短的单行代码，它使用 python 的花括号格式来安全地执行魔法：

contents=\"\"\"`cat $file`\"\"\"; python -c "import os;print $contents.format(**os.environ)"

• 避免邪恶评估
• 允许输出花括号：使用{{ 而不是{
• 调用脚本时无需显式指定变量

例如，给定属性文件settings.properties：

# my properties file
someVar = {MY_ENV_VAR}
curlyBraceVar = has {{curly braces}}

然后，替换为：

$ export MY_ENV_VAR="hello"
$ file=settings.properties 
$ contents=\"\"\"`cat $file`\"\"\"; python  -c "import os;print $contents.format(**os.environ)"
# my properties file
someVar = hello
curlyBraceVar = has {curly braces}

这里有一个脚本：https://raw.githubusercontent.com/aneilbaboo/machome/master/bin/substenv

Answer 9

如果你已经安装了nodejs，你可以运行

npx @utft/tt -e FOO=bar /path/to/input /path/to/output

或者您可以通过编程方式运行它 https://github.com/utftufutukgyftryidytftuv/tt