Luigi 从代码中设置配置

Question

我已经将一组 luigi 任务打包成一个包。目前，每个 etl-task 在同一个目录中都有自己的luigi.cfg，但是由于所有这些.cfg 文件都是相同的，它看起来并不理想。最重要的是，我更喜欢从不同的包/环境变量编写 S3 凭据，而不是存储在 git 中的平面文件中。

从包中为 luigi 设置默认/常规配置的最佳方法是什么？

看起来luigi.Config 和luigi.interface.core 包很有希望，但我仍然不确定我需要在哪里执行/启动它们。

Answer 1

你可以试试

luigi.configuration.get_config().set('core', 'some_key', 'some_value')

在一个正在运行的实例中。 您可以使用

访问相同的数据

luigi.configuration.get_config().get('core', 'some_key').