使用通过命令行定义的输入和输出运行 kedro 管道

Question

我想使用不同的输入运行 kedro 管道并将结果保存在输出文件夹中，其中输入路径和输出路径通过命令行提供

我播种了使用 kedro.config.TemplatedConfigLoader 将新变量传递给 jinja2 模板目录的可能性，但这样我只能手动定义挂钩中的 globals_dict 变量，如 kedro 文档中所示。

理想情况下，我想运行这样的东西：

kedro run --pipeline="my_pipeline" --input="path_to_input_1" --output="path_to_output_1"
kedro run --pipeline="my_pipeline" --input="path_to_input_2" --output="path_to_output_2"

有这样的目录：

input_df:
  type: pandas.CSVDataSet
  filepath: "${ input_path }"
  load_args:
    sep: "\t"
    index_col: 0
  save_args:
    index: True
    encoding: "utf-8"

output_df:
  type: pandas.CSVDataSet
  filepath: "${ output_path }"
  load_args:
    sep: "\t"
    index_col: 0
  save_args:
    index: True
    encoding: "utf-8"

并分析正确​​的输入并将结果存储在正确的输出路径中。

实现它的 kedro 方法是什么？

Answer 1

所以默认情况下这是不可用的。您可以尝试使用 kedro 的几个部分来完成这项工作：

• 编辑 cli.py 以提供新的 Click 参数
• 尝试使用 before_dataset_loaded 挂钩将参数添加到 globals.yml 字典，TemplatedConfigLoader 用于字符串插值

话虽如此，也许运行环境可能对此有所帮助？

https://kedro.readthedocs.io/en/latest/04_kedro_project_setup/02_configuration.html#additional-configuration-environments

一般来说，我们建议不要使用静态时难以阅读的动态管道。我们确实鼓励人们保持目录明确，以便在 6 个月内阅读。