如何动态加载kedro DataSet对象

Question

我目前正在使用 yaml api 使用 kedro==15.5 创建我的所有数据集。我希望能够不时动态地查看这些信息。看来我可以使用 io.datasets 获取此信息，这是一个 _FrozenDatasets 对象。我无法遍历它或以编程方式访问它。

具体用例

具体来说，我想添加一个循环遍历数据集的测试，以检查没有多个目录条目使用相同的文件路径。不使用eval这可能吗？目前我认为需要做这样的事情

filepaths = {}
for entry_name in io.list()
   eval(f'filepaths[{entry_name}] = io.datasets.{entry_name}'.filepath)

Answer 1

不幸的是，我不认为AbstractDataSet（它们都是从中定义的）具有文件路径或构建它的配置的属性。您可以阅读 ProjectContext 配置，但不会涵盖动态构建的数据集。