如何从 scala 导入 TwitterUtils 库答案

【问题标题】：How to import TwitterUtils library from scala如何从 scala 导入 TwitterUtils 库
【发布时间】：2017-08-28 02:55:56
【问题描述】：

我正在使用DSE 4.8。我正在尝试使用以下方法导入 twitterutils 库：

import org.apache.spark.streaming.twitter.TwitterUtils

显示错误：

对象 twitter 不是包 org.apache.spark.streaming 的成员。

请告诉我如何添加包以便我可以流式传输 twitter 数据

【问题讨论】：

标签： scala apache-spark datastax-enterprise

【解决方案1】：

我认为你错过了添加依赖 spark-streaming-twitter。

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-twitter_2.10 -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-twitter_2.10</artifactId>
    <version>1.6.1</version>
</dependency>

如果您有互联网连接，您也可以使用 --package 选项让 spark 自动为您下载 jar。

spark-shell --packages org.apache.bahir:spark-streaming-twitter_2.11:2.1.0

** 根据您的 spark(scala) 版本更改库的版本

【讨论】：

我是 spark 新手。你能告诉我在哪里添加依赖吗？
那么，您是使用 maven 还是其他任何依赖管理工具？
如果没有，您可以尝试从 central.maven.org/maven2/org/apache/spark/… 下载 jars。但它可能还有其他依赖项，您需要自己弄清楚。最好使用依赖管理工具。
或者你可以使用 spark-shell --packages org.apache.bahir:spark-streaming-twitter_2.11:2.1.0 打开一个 Spark-shell