【问题标题】:Making changes to Airflow code and deploy to containers更改 Airflow 代码并部署到容器
【发布时间】:2021-11-07 01:26:19
【问题描述】:

我对Airflow部署的过程有点困惑(我是新手)。

我想做的是

  1. 将 Git 存储库克隆到本地计算机 https://github.com/apache/airflow
  2. 进行更改。例如,我想将我的公司徽标放到 UI(浏览器级别)
  3. 构建代码并生成 docker 镜像
  4. 推送到容器注册表(我的情况是 Azure)
  5. 运行服务

我使用的是 Windows 机器并安装了 Docker Desktop。

我已经尝试使用官方帮助https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html在本地docker中安装

任何帮助将不胜感激。

【问题讨论】:

    标签: docker airflow


    【解决方案1】:

    您指出的步骤是解决您的案件的正确方法。一旦你有了你的自定义镜像,它就可以被部署为任何其他 docker 容器。我还建议克隆 repo 并设置 CI/CD 管道以自动构建映像并将其推送到容器注册表。

    另外检查此building custom imageproduction deployment 文档。

    【讨论】:

    • 嗨 Tomasz,我创建了一个管道来自动创建映像,并且能够运行管道(构建和推送)映像而没有错误。现在,我正在尝试将我的网络服务器作为容器(实例)内的应用程序和调度程序运行。我可以做吗 ?请提出建议。
    • 要在同一个容器中运行它们,您需要运行 airflow scheduler -Dairflow webserver -D。这将触发调度程序和网络服务器作为后台进程
    • 我已经捕获了我在文档中尝试执行的步骤。请让我知道你的cmets。 docs.google.com/document/d/1wAEgxL2XYXDEkJ9ftjN6_skHCi7hvfxD/…
    • 当我将鼠标悬停在 "Command Override" 选项上时,我看到以下信息:"在容器中执行的第一个命令。用逗号分隔每个命令和示例中看到的空格。如果您在命令覆盖字段中使用包含敏感信息(如密码)的值,建议您使用安全环境变量将其放入容器中,并引用容器。
    • bash -c "airflow scheduler -D; airflow webserver -D" 看起来不错
    猜你喜欢
    • 2023-03-24
    • 1970-01-01
    • 2018-06-12
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-08-23
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多