【发布时间】:2020-06-03 11:56:33
【问题描述】:
作为我的 flink 应用程序的运行时,我使用 AWS 托管的 flink(Kinesis 数据分析应用程序)
我添加了功能(接收器),用于以 parquet 格式从 S3 中的 kinesis 队列写入已处理的事件。 本地一切都对我有用,但是当我尝试在云中运行应用程序时,出现以下异常:
"throwableInformation": [
"com.esotericsoftware.kryo.KryoException: Error constructing instance of class: org.apache.avro.Schema$LockableArrayList",
"Serialization trace:",
"types (org.apache.avro.Schema$UnionSchema)",
"schema (org.apache.avro.Schema$Field)",
"fieldMap (org.apache.avro.Schema$RecordSchema)",
在找到问题的解决方案后,我发现我需要更改以下属性(在本地集群上检查过这个):
classloader.resolve-order: child-first -> classloader.resolve-order: parent-first
在以任何方式使用 AWS 托管的 Fink(不是 EMR、Kinesis Data Analytics 应用程序)时,是否可以更改此配置?
【问题讨论】:
标签: amazon-web-services apache-flink amazon-kinesis-analytics