火花流标准输入输入/从 Unix 实用程序输出读取答案

【问题标题】：spark streaming stdin input / reading from unix utility output火花流标准输入输入/从 Unix 实用程序输出读取
【发布时间】：2015-06-12 19:59:58
【问题描述】：

我正在尝试构建一个读取 unix 实用程序输出流的 Spark Streaming 应用程序。从标准输入创建 DStream 的最佳方法是什么？如何将外部实用程序的流输出重定向/管道到 Spark Streaming DStream？我使用 Scala，我意识到 rdd.pipe() 可能无济于事，因为它首先与从 rdd 读取的命令一起使用。谢谢！

我最初的问题已发布到 Spark 用户的邮件列表：http://apache-spark-user-list.1001560.n3.nabble.com/Spark-Streaming-reads-from-stdin-or-output-from-command-line-utility-td23289.html

【问题讨论】：

标签： apache-spark

【解决方案1】：

您可以在 linux 中使用 netcat 命令。将您的程序输出通过管道传输到 netcat。

./your-executable | nc -l <portnumber>

然后你可以使用相同的端口号创建 DStream

ssc.socketTextStream(cassandraHost, portNum)

【讨论】：