【问题标题】:AWS SDK conflicts in Apache Flink enviromnentApache Flink 环境中的 AWS 开发工具包冲突
【发布时间】:2017-10-25 20:31:37
【问题描述】:

我正在尝试将我的作业部署到 Flink 环境,但总是报错:

java.lang.NoSuchMethodError: com.amazonaws.AmazonWebServiceRequest.putCustomQueryParameter(Ljava/lang/String;Ljava/lang/String;)

我尝试在我的 jar 中包含/排除 aws-sdk,但没有帮助。

有谁知道如何解决这些冲突?

【问题讨论】:

  • 你的工作是什么样的(特别是它使用哪些来源/接收器)?你用的是什么版本的flink?你能提供整个堆栈跟踪吗?
  • Flink 版本 - 1.2.1,它只是从 S3 读取并打印数据,没什么特别的。此外,我使用与 AWS 一起使用的 3rd 方库。据我了解,Flink 有自己的 aws-sdk,这就是我们发生冲突的原因。
  • 你如何构建你的 jar 文件?
  • 我正在使用 Maven。

标签: aws-sdk apache-flink


【解决方案1】:

Apache Flink 默认将许多类加载到其类路径中。而你的问题只是版本冲突。

请阅读本文最后一段https://ci.apache.org/projects/flink/flink-docs-release-1.3/monitoring/debugging_classloading.html

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-02-15
    • 2011-11-10
    相关资源
    最近更新 更多