【问题标题】:java.io.InvalidClassException: org.apache.flink.api.common.operators.ResourceSpec; incompatible types for field cpuCoresjava.io.InvalidClassException: org.apache.flink.api.common.operators.ResourceSpec;字段 cpuCores 的不兼容类型
【发布时间】:2020-11-16 05:31:51
【问题描述】:
我正在使用 Beam 1.24 版和 Flink Session 集群 1.11 版和 Beam-runners-flink-1.9。当我在流模式下使用远程 FlinkRunner 运行作业时,出现以下错误。任何见解将不胜感激。我无法放置所有堆栈跟踪,因为 StackOverflows 不允许我发布整个堆栈跟踪。
谢谢,
饶。
原因:java.io.InvalidClassException: org.apache.flink.api.common.operators.ResourceSpec;字段 cpuCores 的类型不兼容
【问题讨论】:
标签:
apache-beam
flink-streaming
【解决方案1】:
这是由于 Flink 和 Beam 版本不兼容造成的;使用与服务版本匹配的 Maven 工件解决了该问题。这是 Maven sn-p:
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-runners-flink-1.11</artifactId>
<version>2.25.0</version>
</dependency>