Scala - Unit 类型的表达式不符合预期的 DataFrame 类型答案

【问题标题】：Scala - Expression of type Unit doesn't conform to expected type DataFrameScala - Unit 类型的表达式不符合预期的 DataFrame 类型
【发布时间】：2019-08-21 13:09:09
【问题描述】：

我写了一个从 S3 读取文件的方法。如果文件存在，则返回 DataFrame，否则抛出异常。我收到编译器错误：Expression of type Unit doesn't conform to expected type DataFrame。

据我了解，这是由在 else 分支中引发异常的逻辑引起的。我现在看到的唯一选择是返回默认值而不是抛出异常。但是该方法必须返回一个 DataFrame。也许我应该以某种方式使用选项？

如果有任何关于如何在这种情况下返回 DataFrame 的建议，我将不胜感激。

import java.nio.file.{Paths, Files}

def loadMetricsData(dataPath: String, metricsData: String): DataFrame = {
  if (Files.exists(Paths.get(s"$dataPath/$metricsData.json"))) {
    val metricsDataDF: DataFrame =
      spark.read.option("multiline", "true").json(s"$dataPath/$metricsData.json")

    metricsDataDF
  } else throw new IllegalArgumentException("File doesn't exist")
}

UPD：if 块中有一个拼写错误，没有返回 metricsDataDF，它只包含一个赋值。

【问题讨论】：

是的，这就是使用像 Scala 这样的函数式编程语言的全部想法。最好避免抛出异常并将您的调用包装在 Monad 中。在你的情况下，它可能是 Option Monad！
抛出和异常的类型为Nothing 而不是Unit。你的问题是分配给一个val （这是你在正确的分支中所做的）确实有返回类型Unit。 Juts 删除 val metricsDataDF: DataFrame = 并留下其余代码。
@LuisMiguelMejíaSuárez 呃，作业是我的错字。它实际上是返回metricsDataDF
@samba 你的代码在你的问题中，应该按预期编译和工作（我刚刚编译它）。要么，您的真实代码不同（因此，这个问题不会重现错误），要么问题已经解决而您没有注意到。 - 顺便说一句，如果错误来自 IntelliJ 或任何其他 IDE，请在打开问题之前使用编译器而不是 IDE 确认错误是真实的。
@samba，是的，您问题中的当前代码应该没问题。

标签： scala dataframe apache-spark apache-spark-sql

【解决方案1】：

您在方法中返回了“Unit”类型的对象，而不是“DataFrame”。在您的“if”语句中，您已经为方法调用的结果分配了一个变量。在 Scala 中，赋值语句返回一个 Unit。

您可以返回结果变量，如下所示：

def loadMetricsData1(spark: SparkSession, dataPath: String, metricsData: String): DataFrame = {
  val res = if(Files.exists(Paths.get(s"$dataPath/$metricsData.json"))) {
    spark.read.option("multiline", "true").json(s"$dataPath/$metricsData.json")
  } else throw new IllegalArgumentException("File doesn't exist")
  println("output is: " + res)
  res
}

或者简单地说，您可以避免将结果分配给这样的变量：

import java.nio.file.{Paths, Files}
def loadMetricsData(dataPath: String, metricsData: String): DataFrame = {
  if(Files.exists(Paths.get(s"$dataPath/$metricsData.json"))) {
    spark.read.option("multiline", "true")
        .json(s"$dataPath/$metricsData.json")
  } else throw new IllegalArgumentException("File doesn't exist")
}

【讨论】：

我已经更新了关于我的错字的帖子。它实际上是在 if 块中返回 metricsDataDF