将数据导入 Spark Streaming

Question

您好，我是 spark 新手，我正在尝试使用 Meetup 的 RSVP stream 实现一个简单的 spark 流应用程序。

知道如何将流连接到 Spark Streaming 吗？ 我正在尝试 rawSocketStream 但不确定参数是什么（即端口） 谢谢

Answer 1

我认为你可以使用socketTextStream来获取流：http://stream.meetup.com/2/rsvps

让我们看一个例子：

import org.apache.spark._
import org.apache.spark.streaming._
import org.apache.spark.streaming.StreamingContext._

// Create a local StreamingContext with two working thread and batch interval of 1 second
val conf = new SparkConf().setMaster("local[2]").setAppName("meetup")
val ssc = new StreamingContext(conf, Seconds(1))
// Create a DStream that will connect to http://stream.meetup.com/2/rsvps:80
val lines = ssc.socketTextStream("http://stream.meetup.com/2/rsvps", 80)

希望对你有帮助。