Scala: (_) 在 SparkSQL 的 SQLContext.scala 中

Question

Spark 版本是 1.3.0。

源代码来自SQLContext.scala(https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/SQLContext.scala)：

 @transient
  protected[sql] val ddlParser = new DDLParser(sqlParser.apply(_))

  @transient
  protected[sql] val sqlParser = {
    val fallback = new catalyst.SqlParser
    new SparkSQLParser(fallback(_))
  }

  protected[sql] def parseSql(sql: String): LogicalPlan = {
    ddlParser(sql, false).getOrElse(sqlParser(sql))
  }

我无法真正理解上面的代码。

• sqlParser.apply(_) 是如何工作的？

(_)到底是什么？ DDLParser的构造函数需要一个参数parseQuery: String => LogicalPlan，但是sqlParser.apply的返回类型是LogicalPlan。

• 同样，fallback(_) 也是apply 调用，(_) 是如何工作的？

Answer 1

本例中的下划线表示部分函数应用，这是将方法类型转换为函数类型的一种方式。所以当你写sqlParser.apply(_)时，就相当于x => sqlParser.apply(x)。由于DDLParser构造函数需要String => LogicalPlan类型的参数，而sqlParser.apply返回LogicalPlan，编译器可以推断出x实际上是String，所以sqlParser.apply(_)是@类型987654332@。

这里有很多选择。在大多数情况下，以下内容是等效的：

new DDLParser(x => sqlParser.apply(x))
new DDLParser(x => sqlParser(x))
new DDLParser(sqlParser.apply(_))
new DDLParser(sqlParser.apply _)
new DDLParser(sqlParser(_))
new DDLParser(sqlParser _)
new DDLParser(sqlParser.apply)
new DDLParser(sqlParser)

您可以阅读更多关于方法类型和函数类型之间的区别here。

将方法类型转换为函数类型的另一种密切相关的方法称为 eta 扩展，它在某些上下文中可以互换使用。阅读 Scala here 中的偏函数应用程序、eta 扩展以及下划线的所有其他用途。