【问题标题】:Flink SQL Job runs out of heap spaceFlink SQL Job 堆空间不足
【发布时间】:2020-01-26 20:14:46
【问题描述】:

我正在运行一个查询来加入一个流和一个表,如下所示。它的堆空间不足。即使它在 flink 集群中有足够的堆空间(60GB * 3)

此查询是否需要驱逐策略?

SELECT sourceKafka.* FROM sourceKafka INNER JOIN DefaulterTable ON sourceKafka.CC=DefaulterTable.CC;

【问题讨论】:

    标签: apache-flink flink-streaming flink-sql


    【解决方案1】:

    如果您要与流连接的表是静态的,那么您可以实现自己的连接,这样会更好地表现。

    执行此操作的一种方法是使用状态处理器 API 创建一个保存点,其中包含处于 Flink 状态的静态表,然后将连接实现为 KeyedProcessFunction。

    如果您需要定期更新“静态”表,那么使用 KeyedCoProcessFunction 应该是可行的,并在不定期更新中进行流式传输。

    【讨论】:

    • 谢谢大卫。调查一下
    猜你喜欢
    • 2012-06-15
    • 1970-01-01
    • 2011-08-26
    • 1970-01-01
    • 2017-06-17
    • 2011-10-08
    • 2013-01-03
    • 2012-04-17
    相关资源
    最近更新 更多