【发布时间】：2017-08-16 01:15:33
【问题描述】：
我有几个 Spark 作业，包括批处理作业和流作业来处理系统日志并分析它们。我们使用 Kafka 作为管道来连接每个作业。
升级到 Spark 2.1.0 + Spark Kafka Streaming 010 后，我发现一些作业（批处理或流式处理）随机抛出异常（运行几个小时后或仅在 20 分钟内运行）。谁能给我一些关于如何找出真正根本原因的建议？ （貌似有很多帖子都在讨论这个问题，但是这个解决方案对我来说似乎不是很有用……）
这是由于 Spark 配置问题还是代码错误？我不能粘贴我所有的工作代码，因为太多了。
00:30:04,510 WARN - 17/07/22 00:30:04 WARN TaskSetManager：在阶段 1518490.0（TID 338070、10.133.96.21、执行程序 0）中丢失任务 60.0：java.io.FileNotFoundException：/mnt/ mesos/work_dir/slaves/20160924-021501-274760970-5050-7646-S2/frameworks/40aeb8e5-e82a-4df9-b034-8815a7a7564b-2543/executors/0/runs/fd15c15d-25111-4f37-a151-4f37-a1516-m a0e0e673-f88b-4d12-a802-c35643e6c6b2/33/shuffle_2090_60_0.index.b66235be-79be-4455-9759-1c7ba70f91f6（没有这样的文件或目录） 00:30:04,510 警告 - 在 java.io.FileOutputStream.open0（本机方法） 00:30:04,510 警告 - 在 java.io.FileOutputStream.open(FileOutputStream.java:270) 00:30:04,510 警告 - 在 java.io.FileOutputStream.(FileOutputStream.java:213) 00:30:04,510 警告 - 在 java.io.FileOutputStream.(FileOutputStream.java:162) 00:30:04,510 警告 - 在 org.apache.spark.shuffle.IndexShuffleBlockResolver.writeIndexFileAndCommit(IndexShuffleBlockResolver.scala:144) 00:30:04,510 警告 - 在 org.apache.spark.shuffle.sort.BypassMergeSortShuffleWriter.write（BypassMergeSortShuffleWriter.java:128） 00:30:04,510 警告 - 在 org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:96) 00:30:04,510 警告 - 在 org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:53) 00:30:04,510 警告 - 在 org.apache.spark.scheduler.Task.run(Task.scala:99) 00:30:04,510 警告 - 在 org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:282) 00:30:04,510 警告 - 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 00:30:04,510 警告 - 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 00:30:04,510 警告 - 在 java.lang.Thread.run(Thread.java:748)
【问题讨论】：
标签： apache-spark mesos