【问题标题】:aws kinesis data analytics application (flink) change property originally located at flink-conf.yamlaws kinesis 数据分析应用程序 (flink) 更改最初位于 flink-conf.yaml 的属性
【发布时间】:2020-06-03 11:56:33
【问题描述】:

作为我的 flink 应用程序的运行时,我使用 AWS 托管的 flink(Kinesis 数据分析应用程序)

我添加了功能(接收器),用于以 parquet 格式从 S3 中的 kinesis 队列写入已处理的事件。 本地一切都对我有用,但是当我尝试在云中运行应用程序时,出现以下异常:

    "throwableInformation": [
        "com.esotericsoftware.kryo.KryoException: Error constructing instance of class: org.apache.avro.Schema$LockableArrayList",
        "Serialization trace:",
        "types (org.apache.avro.Schema$UnionSchema)",
        "schema (org.apache.avro.Schema$Field)",
        "fieldMap (org.apache.avro.Schema$RecordSchema)",

在找到问题的解决方案后,我发现我需要更改以下属性(在本地集群上检查过这个):

classloader.resolve-order: child-first -> classloader.resolve-order: parent-first

在以任何方式使用 AWS 托管的 Fink(不是 EMR、Kinesis Data Analytics 应用程序)时,是否可以更改此配置?

【问题讨论】:

    标签: amazon-web-services apache-flink amazon-kinesis-analytics


    【解决方案1】:

    aws 支持回答:否。此属性无法更改。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-11-01
      • 2022-11-23
      • 1970-01-01
      • 2022-01-27
      • 2021-07-27
      • 1970-01-01
      • 2021-09-30
      • 2022-09-28
      相关资源
      最近更新 更多