Spark Streaming 未从 Windows 中的本地目录读取文件答案

【问题标题】：Spark Streaming not reading files from local directory in WindowsSpark Streaming 未从 Windows 中的本地目录读取文件
【发布时间】：2016-02-08 16:17:14
【问题描述】：

public class StreamingWordCount implements Serializable { 

public static void main(String[] args) {    

    JavaStreamingContext jssc = new JavaStreamingContext("local[2]", "JavaWordCount",
            new Duration(1000));
    JavaDStream<String> data = jssc.textFileStream("D:/krishna/").cache();
    data.foreach(new Function<JavaRDD<String>, Void>() {

        public Void call(JavaRDD<String> rdd) throws Exception {
            List<String> output = rdd.collect();
            System.out.println("Sentences Collected from files " + output);
            return null;
        }
    });

    data.print();
    jssc.start();
    jssc.awaitTermination();
  }
}

我在 Windows 8 上独立使用 Spark。

JavaStreamingContext 是否仅适用于 HDFS 目录？

点击输出：This is output on console, Sentence collected from files is empty. I tried changing the directory, files. But still code is not picking files. This is my first code in Spark Streaming. Kindly help.

【问题讨论】：

标签： apache-spark real-time spark-streaming

【解决方案1】：

将批处理时间间隔减少 5 毫秒到 10 毫秒，如果任何作业花费的时间超过提供的批处理时间，jssc.awaitTermination() 方法将等待完成挂起的作业并自动处理批处理时间.

【讨论】：

不同意，请参考。
它不会读取旧文件，为了测试你可以在运行时将文件放在给定的目录中。