如何从 Spark 获得计算结果？答案

【问题标题】：How to get a computed result from Spark?如何从 Spark 获得计算结果？
【发布时间】：2017-08-18 07:10:45
【问题描述】：

我正在学习 Spark，并尝试构建一个简单的服务，该服务应该从 Spark 获取计算结果并将其返回给用户。 Spark 网站上有很多关于如何处理流数据的好例子。但我找不到任何关于如何从中检索计算结果的文档。

例如我有一个 Kafka 队列和一个 Spark 作业 like 来计算字数。如何向最终用户显示结果？理想情况下，我希望有一个服务于/words-count HTTP 端点的宁静服务。但目前尚不清楚如何从该服务调用 Spark。

对文档或代码示例的任何引用都会很棒。谢谢。

【问题讨论】：

【解决方案1】：

一般来说，如果您希望在结果可用时不断地向用户推送结果，您会希望使用流式 API。有一个foreachRDD，您可以在其中提供一个接受RDD并发布其结果的函数。每次流更新其结果时都会调用该函数。

dstream.foreachRDD(rdd => publish(rdd))

【讨论】：