【问题标题】:docker airflow configuration issues (puckel/docker)docker 气流配置问题(puckel/docker)
【发布时间】:2018-09-22 04:10:49
【问题描述】:

拉取docker镜像from here后附加shell后发现教程文件不在airflow.cg中指定的dag文件夹中(dags_folder = /usr/local/airflow/dags,文件夹dags不存在)。 教程文件实际上是在这里找到的:

/usr/local/lib/python3.6/site-packages/airflow/example_dags/tutorial.py

此外,运行气流 list_dag 会引发有关未安装 kubernetes 的警告,并且我缺少为 vim 等应用程序运行 apt-get 以编辑 py 文件,甚至运行 ps 以查看进程的权限。

由于我是 docker 和气流的新手,在构建时我需要在 dockerfile 中更改什么吗?

注意:我正在使用 Docker for windows 来构建 linux 映像。

【问题讨论】:

    标签: python docker airflow


    【解决方案1】:

    关于 Kubernetes 的警告来自于 Puckel 的 Dockerfile 默认不安装 airflow[kubernetes] 模块,但除非您想使用 Airflow 的 KubernetesPodOperator,否则无需担心。

    当您进入容器时,您没有编辑 python 模块的权限也是正常的,因为您在那里以用户 airflow 而不是 root 身份登录,并且该用户只有 $AIRFLOW_HOME 目录的写入权限.一般来说,从容器内部编辑文件是不合时宜的,您应该尽量避免这种情况。

    如果我猜对了,你想做的就是从airflow-docker 加载你自己的dags。如果是这种情况,您可以运行以下内容:

    docker run -d -p 8080:8080 -v <local_path_to_your_dags>:/usr/local/airflow/dags  puckel/docker-airflow webserver
    

    在这里,您将本地文件夹从您的计算机安装到容器中的 HOME/dags 文件夹,该文件夹用于加载 dags。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-05-03
      • 2017-06-03
      • 1970-01-01
      • 1970-01-01
      • 2019-08-17
      • 1970-01-01
      • 2021-04-08
      • 1970-01-01
      相关资源
      最近更新 更多