Apache Airflow 配置文件：docker-compose 文件中的环境变量不起作用

Question

在 apache 气流配置中，我尝试使用 docker-compose 文件中的环境变量将 Sequential executor 更改为 Celery executory：

version: '3'
x-airflow-common:
  &airflow-common
  # In order to add custom dependencies or upgrade provider packages you can use your extended image.
  # Comment the image line, place your Dockerfile in the directory where you placed the docker-compose.yaml
  # and uncomment the "build" line below, Then run `docker-compose build` to build the images.
  #image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.2.1}
  build: .
  environment:
    &airflow-common-env
    AIRFLOW__CORE__EXECUTOR: CeleryExecutor
    AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
    AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://airflow:airflow@postgres/airflow
    AIRFLOW__CELERY__BROKER_URL: redis://:@redis:6379/0
    AIRFLOW__CORE__FERNET_KEY: ''
    AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: 'true'
    AIRFLOW__CORE__LOAD_EXAMPLES: 'false'
    AIRFLOW__API__AUTH_BACKEND: 'airflow.api.auth.backend.basic_auth'
    _PIP_ADDITIONAL_REQUIREMENTS: ${_PIP_ADDITIONAL_REQUIREMENTS:-} 

但是当我检查 config_file 时，它​​仍然是 Sequential Executor。

第一个问题：如何将其更改为 CeleryExecutor？

第二个问题：一般来说，我应该如何配置Apache Airflow：通过环境变量还是通过配置文件？

第三个问题：如果是通过配置文件，那么我应该挂载配置文件还是有其他更好的解决方案？

Answer 1

变量不会改变配置文件。它们会覆盖那里的值。 Airflow 在读取配置值时将首先尝试查看是否定义了一个环境变量 - 如果是，那么它将使用它代替配置文件。配置文件将保持原样。

查看https://airflow.apache.org/docs/apache-airflow/stable/howto/set-config.html，你会发现Airflow读取配置的“优先顺序”。

验证变量是否设置正确的方法是执行 airflow config list CLI 命令https://airflow.apache.org/docs/apache-airflow/stable/cli-and-env-variables-ref.html#list

它将向您显示“有效”的配置 - 即 Airlfow 在按照优先顺序处理读取配置值的所有可能性后看到的内容。这样你就可以验证你是否犯了任何错误。

使用快速启动 docker compose，您可以运行 airflow CLI 命令，如 https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html#running-the-cli-commands 所述