在 shell 脚本中读取 python 变量？

Question

我的 python 文件有这两个变量：

week_date = "01/03/16-01/09/16"
cust_id = "12345"

如何将其读入包含这两个变量的 shell 脚本？

我当前的 shell 脚本需要手动编辑“dt”和“id”。我想将python变量读入shell脚本，这样我就可以编辑我的python参数文件而不是那么多文件。

外壳文件：

#!/bin/sh

dt="01/03/16-01/09/16" 
cust_id="12345"

在一个新的 python 文件中，我可以只导入参数 python 文件。

Answer 1

其他答案提供了一种完全按照您的要求进行操作的方法，但我认为这个想法有点疯狂。有一种更简单的方法可以满足这两个脚本 - 将这些变量移动到配置文件中。您甚至可以保留简单的分配格式。

自行创建配置：（ini-style）

dt="01/03/16-01/09/16"
cust_id="12345"

在python中：

config_vars = {}
with open('the/file/path', 'r') as f:
    for line in f:
        if '=' in line:
            k,v = line.split('=', 1)
            config_vars[k] = v
week_date = config_vars['dt']
cust_id = config_vars['cust_id']

在 bash 中：

source "the/file/path"

而且您不再需要进行疯狂的源代码解析。或者，您可以只使用 json 作为配置文件，然后在 python 中使用 json 模块，在 shell 中使用 jq 进行解析。

Answer 2

考虑类似于以下内容：

#!/bin/bash
#      ^^^^ NOT /bin/sh, which doesn't have process substitution available.

python_script='
import sys
d = {}                                    # create a context for variables
exec(open(sys.argv[1], "r").read()) in d  # execute the Python code in that context
for k in sys.argv[2:]:
  print "%s\0" % str(d[k]).split("\0")[0] # ...and extract your strings NUL-delimited
'

read_python_vars() {
  local python_file=$1; shift
  local varname
  for varname; do
    IFS= read -r -d '' "${varname#*:}"
  done < <(python -c "$python_script" "$python_file" "${@%%:*}")
}

然后您可以将其用作：

read_python_vars config.py week_date:dt cust_id:id
echo "Customer id is $id; date range is $dt"

...或者，如果您不想在读取变量时重命名它们，只需：

read_python_vars config.py week_date cust_id
echo "Customer id is $cust_id; date range is $week_date"

---

优点：

• 不像简单的基于正则表达式的解决方案（它会在 Python 解析的某些细节上遇到问题 - 尝试教 sed 处理原始字符串和常规字符串，以及单引号和三引号，而不会将其变成毛球!) 或使用 Python 子进程的换行符分隔输出的类似方法，这将正确处理 str() 提供的任何对象，其中没有您的 shell 脚本可以使用的 NUL 字符。

• 通过 Python 解释器运行内容还意味着您可以通过编程方式确定值 - 例如，您可以有一些 Python 代码向您的版本控制系统询问相关内容的最后更改日期。

  想想这样的场景：

  start_date = '01/03/16'
  end_date = '01/09/16'
  week_date = '%s-%s' % (start_date, end_date)
  

  ...使用 Python 解释器解析 Python 意味着您不会限制人们将来如何更新/修改您的 Python 配置文件。

现在，让我们谈谈注意事项：

• 如果您的 Python 代码有副作用，这些副作用显然会生效（就像您选择 import 将文件作为 Python 中的模块一样）。不要使用它从您不信任其内容的文件中提取配置。
• Python 字符串是 Pascal 风格的：它们可以包含文字 NUL。 shell 语言中的字符串是 C 风格的：它们以第一个 NUL 字符终止。因此，一些变量可以存在于 Python 中，而不是在没有非文字转义的情况下无法在 shell 中表示。为了防止 str() 表示包含 NUL 的对象溢出到其他分配中，此代码在字符串的第一个 NUL 处终止。

---

现在，让我们谈谈实现细节。

• ${@%%:*} 是 $@ 的扩展，它在每个参数中修剪并包括第一个 : 之后的所有内容，因此仅将 Python 变量名称传递给解释器。同样，${varname#*:} 是一个扩展，它修剪所有内容，包括传递给read 的变量名中的第一个:。见the bash-hackers page on parameter expansion。
• 使用<(python ...) 是进程替换语法：<(...) 表达式计算为一个文件名，读取时将提供该命令的输出。使用< <(...) 重定向该文件的输出，从而重定向该命令（第一个< 是重定向，而第二个是启动进程替换的<( 令牌的一部分）。使用这种形式将输出输出到while read 循环中可以避免BashFAQ #24 ("I set variables in a loop that's in a pipeline. Why do they disappear after the loop terminates? Or, why can't I pipe data to read?") 中提到的错误。

• IFS= read -r -d '' 构造有一系列组件，每个组件都使read 的行为更符合原始内容：

  • 在命令执行期间清除 IFS 可防止从变量内容的末尾修剪空格。
  • 使用 -r 可以防止文字反斜杠被 read 本身使用，而不是在输出中显示。
  • 使用-d '' 将空字符串'' 的第一个字符设置为记录分隔符。由于 C 字符串是 NUL 终止的，并且 shell 使用 C 字符串，因此该字符是 NUL。这确保变量的内容可以包含任何非 NUL 值，包括文字换行符。

  有关在 bash 中从字符串读取面向记录的数据的过程的更多信息，请参阅 BashFAQ #001 ("How can I read a file (data stream, variable) line-by-line (and/or field-by-field)?")。

Answer 3

我会做这样的事情。您可能需要稍微修改一下以包含/排除引号，因为我没有真正针对您的场景进行测试：

#!/bin/sh
exec <$python_filename
while read line
do
        match=`echo $line|grep "week_date ="`
        if [ $? -eq 0 ]; then
                dt=`echo $line|cut -d '"' -f 2`
        fi

        match=`echo $line|grep "cust_id ="`
        if [ $? -eq 0 ]; then
                cust_id=`echo $line|cut -d '"' -f 2`
        fi
done