有没有办法将 jinja 模板与 Airflow 中的 DatabricksSubmitRunOperator 结合使用？

Question

我目前正在使用 Airflow 中的 DatabricksSubmitRunOperator。当我尝试将 jinja 模板集成到运算符中时，通过在运算符的“json”参数中使用它，我遇到了一个错误。问题是，jinja 返回一个字符串，但 Databricks 运算符需要一个 dict 类型。

我已经查过算子的源代码了。 “json”好像是template_field，应该没问题。

在这种情况下，有没有办法让 jinja 返回 dict 类型而不是字符串？或者也许是另一种解决方法？

提前致谢！

Answer 1

Airflow 2.1/0 中有一个新功能可以帮助解决这个问题https://airflow.apache.org/docs/apache-airflow/stable/concepts/operators.html#rendering-fields-as-native-python-objects - 它使用 JINJA 对字符串进行“安全评估”的功能，并返回字符串在代码中直接表示的对象。