Airflow：如何通过他们的 docker-compose.yml 安装 pip 包？答案

【问题标题】：Airflow: how to get pip packages installed via their docker-compose.yml?Airflow：如何通过他们的 docker-compose.yml 安装 pip 包？
【发布时间】：2021-06-16 08:15:17
【问题描述】：

好吧，我可能很愚蠢，但无论如何；如何通过airflow的docker-compose文件安装额外的pip包？

我假设它们应该是获取requirements.txt 或其他东西的标准功能。在检查他们的repo 时，我确实看到了一些像ADDITIONAL_PYTHON_DEPS 这样的 ENV 变量，提示我这应该是可能的，但是在 docker-compose 文件中设置这些变量实际上并没有安装库。

version: '3'
x-airflow-common:
  &airflow-common
  image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.0.1}
  environment:
    &airflow-common-env
    AIRFLOW__CORE__EXECUTOR: CeleryExecutor
    AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
    AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://airflow:airflow@postgres/airflow
    AIRFLOW__CELERY__BROKER_URL: redis://:@redis:6379/0
    AIRFLOW__CORE__FERNET_KEY: ''
    AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: 'true'
    AIRFLOW__CORE__LOAD_EXAMPLES: 'false'
    AIRFLOW__API__AUTH_BACKEND: 'airflow.api.auth.backend.basic_auth'
    AIRFLOW__WEBSERVER__EXPOSE_CONFIG: 'true'
    ADDITIONAL_PYTHON_DEPS: python-bitvavo-api

volumes:
    - ./dags:/opt/airflow/dags
    - ./logs:/opt/airflow/logs
    - ./plugins:/opt/airflow/plugins
    - ./requirements.txt:/requirements.txt

显然我的 docker 经验非常有限，但我缺少什么？

【问题讨论】：

标签： docker pip airflow

【解决方案1】：

扩展图像可能是一种方法。另一种方法是在 docker compose 中添加包。

例如，您想要 pip apache-airflow-providers-apache-hdfs。然后你去docker compose文件，

x-airflow-common:
  &airflow-common
  image: airflow_melodie1:test
  environment:
    &airflow-common-env
   ......
    _PIP_ADDITIONAL_REQUIREMENTS: ${_PIP_ADDITIONAL_REQUIREMENTS:- apache-airflow-providers-apache-hdfs other_packages}

【讨论】：

【解决方案2】：

在 Airflow 文档 here 上有一个非常详细的指南，说明如何实现您正在寻找的东西。根据您的要求，这可能就像在创建新 Dockerfile 时使用 From 指令扩展原始映像一样简单，或者您可能需要自定义映像以满足您的需求。

如果您采用 Extending the image 方法，您的新 Dockerfile 将是这样的：

FROM apache/airflow:2.0.1
USER root
RUN apt-get update \
  && apt-get install -y --no-install-recommends \
         build-essential my-awesome-apt-dependency-to-add \
  && apt-get autoremove -yqq --purge \
  && apt-get clean \
  && rm -rf /var/lib/apt/lists/*
USER airflow
RUN pip install --no-cache-dir --user my-awesome-pip-dependency-to-add

然后你可以在 docker-compose 文件中添加类似这样的内容：

...
version: "3"
x-airflow-common: &airflow-common
  build: . # this is optional
  image: ${AIRFLOW_IMAGE_NAME:-the_name_of_your_extended_image
  ...
...

最后，构建您的图像并使用 compose 重新启动所有功能。尝试文档以获取详细信息或完整说明。希望对你有用！

【讨论】：