【发布时间】：2019-12-13 08:49:08
【问题描述】：
我有一个大的 DAG 正在运行，但是它只显示该消息就停止了，我无法弄清楚 Airflow 文档上的错误是什么。
如果这有什么不同：我的 Airflow 在带有 Helm 图表的 Rancher 中运行。
【问题讨论】：
标签： airflow
【发布时间】：2019-12-13 08:49:08
【问题描述】：
我认为这通常是内存不足异常。
【讨论】：
-
你为什么这么认为？这些代码的含义有什么总结吗？
-
气流松弛共识。我已经搜索过这样的列表无济于事。
我想了一种方法来减少所有内存可能性的大小。第一次尝试是加载一些行而不是所有行：
serverCursor = conn.cursor("serverCursor")
serverCursor.execute(f'''select * from {ORIGIN_SCHEMA}.{table};''')
df = []
while True:
records = serverCursor.fetchmany(size=50000)
df = df + records
if not records:
break
serverCursor.close()
这解决了问题。
【讨论】：