【问题标题】:Installing spark-sql-kinesis_2.11-2.2.0.jar in my Spark environment在我的 Spark 环境中安装 spark-sql-kinesis_2.11-2.2.0.jar
【发布时间】:2018-07-22 21:58:56
【问题描述】:

我正在使用 EMR 集群来开发/运行 Spark 作业。现在我需要访问 Kinesis 并且需要安装 spark-sql-kinesis_2.11-2.2.0.jar。我还不是很清楚如何做到这一点。任何指针/经验都会非常有帮助

【问题讨论】:

标签: apache-spark-sql amazon-emr amazon-kinesis


【解决方案1】:

我最终自己从源代码 (github) 构建它,然后在我的 spark-submit 代码中指定它。这似乎是推荐的。

【讨论】:

    猜你喜欢
    • 2020-10-12
    • 2018-02-25
    • 2015-08-10
    • 2021-12-02
    • 2016-09-09
    • 2018-02-18
    • 2019-11-10
    • 2019-07-07
    • 2015-08-26
    相关资源
    最近更新 更多