使用 Kinesis 连接器到 s3 存储桶的 Kinesis

Question

使用 kinesis 连接器库从 kinesis 访问 s3 存储桶时出现以下错误。 我使用了以下链接中的示例

https://github.com/awslabs/amazon-kinesis-connectors/tree/master/src/main/samples

信息：流 twitterStreamNew 处于活动状态 2015 年 10 月 16 日下午 3:45:00 com.yash.KinesisConnectorExecutor setupInputStream INFO：开始流源。 线程“主”java.lang.NoClassDefFoundError 中的异常：com/amazonaws/transform/JsonErrorUnmarshallerV2 在 com.amazonaws.services.dynamodbv2.AmazonDynamoDBClient.init（AmazonDynamoDBClient.java:387） 在 com.amazonaws.services.dynamodbv2.AmazonDynamoDBClient.(AmazonDynamoDBClient.java:383) 在 com.amazonaws.services.dynamodbv2.AmazonDynamoDBClient.(AmazonDynamoDBClient.java:357) 在 com.amazonaws.services.kinesis.clientlibrary.lib.worker.Worker.(Worker.java:109) 在 com.amazonaws.services.kinesis.clientlibrary.lib.worker.Worker.(Worker.java:94) 在 com.amazonaws.services.kinesis.connectors.KinesisConnectorExecutorBase.initialize(KinesisConnectorExecutorBase.java:84) 在 com.amazonaws.services.kinesis.connectors.KinesisConnectorExecutorBase.initialize(KinesisConnectorExecutorBase.java:37) 在 com.example.KinesisConnectorExecutor。 (KinesisConnectorExecutor.java:110) 在 com.example.S3Executor.(S3Executor.java:19) 在 com.example.S3Executor.main(S3Executor.java:34) 引起：java.lang.ClassNotFoundException：com.amazonaws.transform.JsonErrorUnmarshallerV2 在 java.net.URLClassLoader.findClass（未知来源） 在 java.lang.ClassLoader.loadClass（未知来源） 在 sun.misc.Launcher$AppClassLoader.loadClass（未知来源） 在 java.lang.ClassLoader.loadClass（未知来源） ... 10 更多

Answer 1

有同样的错误 - 仅仅是由于库版本冲突。

将您的 kinesis 连接器库和 aws java sdk 更新到 POM 中的最新版本。

    <dependency>
        <groupId>com.amazonaws</groupId>
        <artifactId>aws-java-sdk</artifactId>
        <version>1.10.27</version>
    </dependency>

    <dependency>
        <groupId>com.amazonaws</groupId>
        <artifactId>amazon-kinesis-connectors</artifactId>
        <version>1.2.0</version>
    </dependency>