Python：从 arg 解析器到字典

Question

我在 Python 3.8 中有一个名为“stores.py”的文件。该文件有一个名为“scan_transactions”的方法，它采用 2 个位置参数：“store”和“checkpoint”。该方法基本上通过使用 REGEX 模式来扫描 PostgreSQL 表中的存储事务。当代码到达事务表中该特定存储的最后一个事务 id 时，然后使用另一个表（检查点表）并进行更新以指示任何给定存储的最新最大事务 id。

目前，我正在从一个类似于下面的预定义字典中传递两个参数：

dict_stores = {'store1': 'checkpoint_store1', 'store2': 'checkpoint_store2','store3': 'checkpoint_store3'}

目前代码如下所示：

def store_transactions(store: str, checkpoint_name: str)
.
.
.
.
.

if __name__ == '__main__':

    for store, checkpoint in shops.dict_stores.items():
        LOG.debug(f'Processing store : {store}, checkpoint: {checkpoint}')
        store_transactions(store, checkpoint)

我现在希望使其更具动态性，并允许用户在执行之前将他们想要处理交易的商店作为批处理作业传递。这将使用下面的命令行：

"stores.py" --stores -store1 -store2 -store3...etc.

然后上面的命令将替换这个预先固定的字典并动态创建一个字典。有谁知道我如何使用“arg parser”以某种方式以编程方式将参数“-shop 1”、“-shop2”转换为像上面那样的字典（将它们各自的检查点作为值）并使用相同的循环处理所有商店我目前正在运行？

Answer 1

注意，我认为你需要使用 positional argparse 参数让它们重复（即你没有 --store 选项名称）。或者我可能对 optparse 感到困惑，这些天主要使用 Click。

文档的nargs 部分涵盖了这一点，因此看起来您也可以使用--store。例子不是很清楚。也就是说，这对用户来说需要更多的打字，所以我会选择位置。

import argparse

#the existing dictionary
lookup = {'store1': 'checkpoint_store1', 'store2': 'checkpoint_store2','store3': 'checkpoint_store3'}

#from doc @ https://docs.python.org/3/library/argparse.html#example
parser = argparse.ArgumentParser(description='Process some stores.')

#Option 1 your loop checks for valid stores
# parser.add_argument('stores', type=str, nargs='+', help='stores')

#Option2 argparse checks for valid stores
parser.add_argument('stores', type=str, nargs='+', help='stores', choices=lookup.keys())

args = parser.parse_args()
user_stores = args.stores
dict_stores = {}

#check in loop
for store in user_stores:
    try:
        dict_stores[store] = lookup[store]
    #pragma: no cover pylint: disable=unused-variable
    except (KeyError,) as e: 
        print(f" unknown store {store}. known : {' '.join(lookup.keys())}")

# if you use argparse to check this can be simplified to
# dict_stores[store] = {store: lookup[store] for store in user_stores}


print(f"{dict_stores}")

输出：

(venv38) me@explore$ py test_301_arg.py store1 store2
{'store1': 'checkpoint_store1', 'store2': 'checkpoint_store2'}


(venv38) me@explore$ py test_301_arg.py store1 store4
usage: test_301_arg.py [-h] {store1,store2,store3} [{store1,store2,store3} ...]
test_301_arg.py: error: argument stores: invalid choice: 'store4' (choose from 'store1', 'store2', 'store3')


(venv38) me@explore$ py test_301_arg.py --help
usage: test_301_arg.py [-h] {store1,store2,store3} [{store1,store2,store3} ...]

Process some stores.

positional arguments:
  {store1,store2,store3}
                        stores

optional arguments:
  -h, --help            show this help message and exit

Answer 2

我发现使用在, 上拆分的结构来读取可能性列表很方便

def parse_args(args_external=None):
    """ build an arguments object with required attributes from user input """

    parser = argparse.ArgumentParser(
        description="Example Program",
    )

    parser.add_argument(
        "--foo",
        default="",
        help="comma-separated collection of bars")

    arguments = parser.parse_args(args_external)  # enables automated testing (otherwise None -> sys.argv)

    _foo = []
    for bar in arguments.foo.split(","):
        if not bar:  # allow skipping ,,
            continue
        validatebar(bar)  # sys.exit with message if invalid
    arguments.foo = _foo  # clobber the original reference

这样消费

python3 ./myscript.py --foo bar1,bar2,bar3

Answer 3

替代解决方案：只需读取 JSON 配置文件，可能将参数设为文件名或 stdin 的触发器

import json

    ...
    with open(path_config) as fh:
        config = json.load(fh)  # config is now a Python dict