如何在气流中设置 emr_default答案

【问题标题】：How to set up emr_default in airflow如何在气流中设置 emr_default
【发布时间】：2017-11-29 19:47:24
【问题描述】：

尊敬的 Stackoverflow 成员，

我正在尝试使用 Airflow 来安排启动集群的 DAG，运行一些 Spark 作业，然后自行终止。我试着按照这个例子： https://insight.io/github.com/apache/incubator-airflow/blob/master/airflow/contrib/example_dags/example_emr_job_flow_automatic_steps.py

它给了我错误：airflow.exceptions.AirflowException：未定义 conn_id emr_default

我可能需要设置emr_default（如果不是这种情况，请纠正我）。有没有人尝试过这个并给我一些关于如何设置它的提示？ Airflow 网站没有提供太多关于 emr 连接：http://pythonhosted.org/airflow/configuration.html?highlight=connection#connections

谢谢！

【问题讨论】：

【解决方案1】：

在气流 UI 上，转到 Admin -> Connections 选项卡，然后编辑 emr_default 行的值。

【讨论】：

谢谢@Him，我发现了问题，我使用的是旧版本然后升级到1.8，之前没有emr_default作为变量
我只想补充一点，一旦使用 aws_default 和 emr_default，~/.aws 目录将是 aws 配置所在的位置。所以确保你有它。更多信息：airflow.apache.org/docs/apache-airflow-providers-amazon/stable/…

【解决方案2】：

正如@Him 所说，您可以在气流中进行编辑。但是如果你找不到emr_default，你可以去Admin -> Connections -> Create添加你想要的任何连接

【讨论】：