Airflow - 如何将 dags 挂载到 Azure 存储帐户答案

【问题标题】：Airflow - how to mount dags to Azure Storage AccountAirflow - 如何将 dags 挂载到 Azure 存储帐户
【发布时间】：2021-08-05 12:40:24
【问题描述】：

在我的 docker-compose.yml 文件中，我目前将 docker 实例上的 dags 文件夹挂载到运行它的虚拟机上。

volumes:
    - ./dags:/opt/airflow/dags

我想将它托管在云上，理想情况下想挂载到一个 Azure 存储帐户。我已通过airflow.cfg 上的配置成功设置远程日志记录到此存储帐户，但我不确定如何为dags 挂载文件系统。

任何帮助将不胜感激。

【问题讨论】：

标签： python azure docker-compose airflow airflow-scheduler

【解决方案1】：

谢谢Kevin Südmersen。发布您的建议作为帮助社区成员的答案。

你可以挂载dag的文件系统，例如：

version: '2.1'
    webserver:
        build: ./docker-airflow
        restart: always
        privileged: true
        depends_on:
            - mongo
            - mongo-express
        environment:
            - LOAD_EX=n
            - EXECUTOR=Local
        volumes:
            - ./docker-airflow/dags:/usr/local/airflow/dags
            # Volume for source code
            - ./src:/src
            - ./docker-airflow/workdir:/home/workdir
            # configs folder as volume
            - ./configs:/configs
            # Mount the docker socket from the host (currently my laptop) into the webserver container so that the webserver container can create "sibbling" containers
            - //var/run/docker.sock:/var/run/docker.sock  # the two "//" are needed for windows OS
        ports:
            - 8081:8080
        command: webserver
        healthcheck:
            test: ["CMD-SHELL", "[ -f /usr/local/airflow/airflow-webserver.pid ]"]
            interval: 30s
            timeout: 30s
            retries: 3
        networks:
            - mynet

您可以参考how to use volume with Docker Operator from Apache Airflow、Deploying Apache Airflow in Azure to build and run data pipelines和Can Airflow running in a Docker container access a local file?

【讨论】：

【解决方案2】：

为建议喝彩。我最终使用了专为 blob 存储安装而设计的 Blob Fuse 连接器。

【讨论】：