强制 bash 扩展从文件加载的字符串中的变量

Question

我正在尝试研究如何使 bash（强制？）扩展字符串（从文件中加载）中的变量。

我有一个名为“something.txt”的文件，内容如下：

hello $FOO world

然后我跑

export FOO=42
echo $(cat something.txt)

返回：

   hello $FOO world

即使设置了变量，它也没有扩展 $FOO。我无法评估或获取文件 - 因为它会尝试执行它（它不是可执行的 - 我只想要插入变量的字符串）。

有什么想法吗？

Answer 1

我偶然发现了这个问题的答案：envsubst 命令。

envsubst < something.txt

示例：替换文件 source.txt 中的变量并将其写入destination.txt 以供进一步处理

envsubst < "source.txt" > "destination.txt"

如果它在您的发行版中不可用，它位于 GNU 包gettext。

@Rockallite

• 我编写了一个小包装脚本来处理“$”问题。

（顺便说一句，envsubst 有一个“功能”，解释于 https://unix.stackexchange.com/a/294400/7088 只扩展输入中的一些变量，但我 同意转义异常要方便得多。）

这是我的脚本：

#! /bin/bash
      ## -*-Shell-Script-*-
CmdName=${0##*/}
Usage="usage: $CmdName runs envsubst, but allows '\$' to  keep variables from
    being expanded.
  With option   -sl   '\$' keeps the back-slash.
  Default is to replace  '\$' with '$'
"

if [[ $1 = -h ]]  ;then echo -e >&2  "$Usage" ; exit 1 ;fi
if [[ $1 = -sl ]] ;then  sl='\'  ; shift ;fi

sed 's/\\\$/\${EnVsUbDolR}/g' |  EnVsUbDolR=$sl\$  envsubst  "$@"

Answer 2

另一种方法（看起来很恶心，但我还是把它放在这里）：

将 something.txt 的内容写入临时文件，并在其周围加上 echo 语句：

something=$(cat something.txt)

echo "echo \"" > temp.out
echo "$something" >> temp.out
echo "\"" >> temp.out

然后将其返回到变量中：

RESULT=$(source temp.out)

$RESULT 将把它全部展开。但是好像大错特错！

---

不需要临时文件的单行解决方案：

RESULT=$(source <(echo "echo \"$(cat something.txt)\""))
#or
RESULT=$(source <(echo "echo \"$(<something.txt)\""))

Answer 3

expenv () {
    LF=$'\n'
    echo "cat <<END_OF_TEXT${LF}$(< "$1")${LF}END_OF_TEXT" | bash
    return $?
}

expenv "file name"

Answer 4

1. 如果 something.txt 只有 一个 行，bash 方法，（Michael Neale's "icky" answer 的较短版本）， 使用进程 & 命令替换：

   FOO=42 . <(echo -e echo $(<something.txt))
   

   输出：

   hello 42 world
   

   请注意，export 不是必需的。

2. 如果 something.txt 有一行或多行，则 GNU sed e评估方法：

   FOO=42 sed 's/"/\\\"/g;s/.*/echo "&"/e' something.txt
   

Answer 5

foo=45
file=something.txt       # in a file is written: Hello $foo world!
eval echo $(cat $file)

Answer 6

envsubst 是一个很好的解决方案（请参阅 LenW 的回答），如果您要替换的内容是“合理”的长度。

在我的例子中，我需要替换文件的内容来替换变量名。 envsubst要求将内容导出为环境变量，而bash在导出超过1兆字节左右的环境变量时会出现问题。

awk 解决方案

在另一个问题中使用 cuonglm 的 solution：

needle="doc1_base64" # The "variable name" in the file. (A $ is not needed.)
needle_file="doc1_base64.txt" # Will be substituted for the needle 
haystack=$requestfile1 # File containing the needle
out=$requestfile2
awk "BEGIN{getline l < \"${needle_file}\"}/${needle}/{gsub(\"${needle}\",l)}1" $haystack > $out

此解决方案甚至适用于大文件。

Answer 7

$ eval echo $(cat something.txt)
hello 42 world
$ bash --version
GNU bash, version 3.2.57(1)-release (x86_64-apple-darwin17)
Copyright (C) 2007 Free Software Foundation, Inc.

Answer 8

以下作品：bash -c "echo \"$(cat something.txt)"\"

Answer 9

以下解决方案：

• 允许替换已定义的变量

• 保留未定义的变量占位符不变。这在自动部署期间特别有用。

• 支持以下格式的变量替换：

  ${var_NAME}

  $var_NAME

• 报告哪些变量未在环境中定义并针对此类情况返回错误代码

    TARGET_FILE=someFile.txt;
    ERR_CNT=0;

    for VARNAME in $(grep -P -o -e '\$[\{]?(\w+)*[\}]?' ${TARGET_FILE} | sort -u); do     
      VAR_VALUE=${!VARNAME};
      VARNAME2=$(echo $VARNAME| sed -e 's|^\${||g' -e 's|}$||g' -e 's|^\$||g' );
      VAR_VALUE2=${!VARNAME2};

      if [ "xxx" = "xxx$VAR_VALUE2" ]; then
         echo "$VARNAME is undefined ";
         ERR_CNT=$((ERR_CNT+1));
      else
         echo "replacing $VARNAME with $VAR_VALUE2" ;
         sed -i "s|$VARNAME|$VAR_VALUE2|g" ${TARGET_FILE}; 
      fi      
    done

    if [ ${ERR_CNT} -gt 0 ]; then
        echo "Found $ERR_CNT undefined environment variables";
        exit 1 
    fi

Answer 10

如果您只想扩展变量引用（我自己的目标），您可以执行以下操作。

contents="$(cat something.txt)"
echo $(eval echo \"$contents\")

（$contents 周围的转义引号是这里的关键）

Answer 11

许多使用eval 和echo 的答案都可以工作，但会在各种事情上中断，例如多行，试图转义shell 元字符，在不打算通过bash 扩展的模板内转义，等等

我遇到了同样的问题，并编写了这个 shell 函数，据我所知，它可以正确处理所有内容。由于 bash 的命令替换规则，这仍然只会从模板中删除尾随换行符，但只要其他所有内容保持不变，我从未发现这是一个问题。

apply_shell_expansion() {
    declare file="$1"
    declare data=$(< "$file")
    declare delimiter="__apply_shell_expansion_delimiter__"
    declare command="cat <<$delimiter"$'\n'"$data"$'\n'"$delimiter"
    eval "$command"
}

例如，您可以将它与 parameters.cfg（实际上是一个只设置变量的 shell 脚本）和 template.txt（使用这些变量的模板）一起使用：

. parameters.cfg
printf "%s\n" "$(apply_shell_expansion template.txt)" > result.txt

在实践中，我将其用作一种轻量级模板系统。

Answer 12

你可以试试

echo $(eval echo $(cat something.txt))

Answer 13

你不想打印每一行，你想评估它以便 Bash 可以执行变量替换。

FOO=42
while read; do
    eval echo "$REPLY"
done < something.txt

有关详细信息，请参阅 help eval 或 Bash 手册。