从气流到 Azure Fileshare 的事务过多答案

【问题标题】：Too many transactions to Azure Fileshare from airflow从气流到 Azure Fileshare 的事务过多
【发布时间】：2021-06-15 08:20:39
【问题描述】：

我对在 AKS 中运行时的气流有疑问。

我们在 AKS 中部署了气流，并将 Azure Fileshare 安装到气流 pod。我们已将此文件共享用于 DAG 文件夹。但是，从气流到 FileShare 的交易量很大（每 5 分钟至少 20K），这给我们带来了 Azure 的大量成本。仅供参考 - Azure 文件共享的计费是根据事务数量而不是我们使用的大小来完成的。

如果这是文件共享中的 DAG 文件夹的问题，您能否告诉我？如果是这样，是否有任何其他方法可以使用。已尝试将托管磁盘（而不是文件共享）挂载到 pod。但是托管磁盘的问题是我们无法将磁盘安装到超过 1 个 pod。

感谢您的帮助/想法。

谢谢

【问题讨论】：

我遇到了同样的问题。你知道发生了什么吗？

标签： azure-aks airflow-scheduler airflow

【解决方案1】：

我遇到了类似的问题，每 5 分钟就有 8k 个事务，只有 3 个 DAG。通过将 file_parsing_sort_mode 设置为 alphabetical，我将其降低到每 5 分钟大约 800 笔交易。

https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html#file-parsing-sort-mode

默认设置 modified_time 将使 DAG 处理器在每个循环中从文件共享中检索文件的最后修改时间。奇怪的是，这个动作甚至会触发比读操作更昂贵的写操作。

https://github.com/apache/airflow/blob/2d79d730d7ff9d2c10a2e99a4e728eb831194a97/airflow/dag_processing/manager.py#L982-L1008

【讨论】：