AirFlow 在变量函数中是否有最大记录限制？

Question

我知道 Airflow 中的变量函数使用内部元数据数据库。 AirFlow 对变量函数有最大记录限制吗？ 只要磁盘空间可用，变量的数量是否没有限制？ 我在官方文档中找不到具体的描述。

Answer 1

您可以存储的变量数量没有限制。

变量是 MySQL/Postgres/MsSQL 数据库中用作后端的表。表没有最大记录数。

有些表变大可能会导致性能问题，但变量表可能不会导致此类问题。

如果这对您来说是一个问题 - 您可以随时使用 alternative secret backend 通过使用此连接/变量不会存储在 Airflow 数据库中，而是存储在您选择的其他存储中（例如：Google Secret Manager、Vault 等）您可以在此doc 上查看完整列表。如果您愿意，也可以roll your own secret backend。