重写 scala 代码以使其更具功能性

Question

我正在尝试自学 Scala，同时尝试编写函数式语言的惯用代码，即编写更好、更优雅的函数式代码。

我有以下代码可以正常工作：

import org.apache.spark.SparkConf
import org.apache.spark.sql.{DataFrame, SparkSession}
import java.time.LocalDate
object DataFrameExtensions_ {
  implicit class DataFrameExtensions(df: DataFrame){
    def featuresGroup1(groupBy: Seq[String], asAt: LocalDate): DataFrame = {df}
    def featuresGroup2(groupBy: Seq[String], asAt: LocalDate): DataFrame = {df}
  }
}
import DataFrameExtensions_._
val spark = SparkSession.builder().config(new SparkConf().setMaster("local[*]")).enableHiveSupport().getOrCreate()
import spark.implicits._
val df = Seq((8, "bat"),(64, "mouse"),(-27, "horse")).toDF("number", "word")
val groupBy = Seq("a","b")
val asAt = LocalDate.now()
val dataFrames = Seq(df.featuresGroup1(groupBy, asAt),df.featuresGroup2(groupBy, asAt))

最后一行让我很困扰。这两个函数（featuresGroup1、featuresGroup2）都具有相同的签名：

scala> :type df.featuresGroup1(_,_)
(Seq[String], java.time.LocalDate) => org.apache.spark.sql.DataFrame

scala> :type df.featuresGroup2(_,_)
(Seq[String], java.time.LocalDate) => org.apache.spark.sql.DataFrame

并采用相同的vals 作为参数，所以我假设我可以以更实用的方式编写该行（可能以某种方式使用.map），这意味着我可以只编写一次参数列表并将其传递给两个函数.我无法弄清楚语法。我想也许我可以构建一个这些函数的列表，但这不起作用：

scala> Seq(featuresGroup1, featuresGroup2)
<console>:23: error: not found: value featuresGroup1
       Seq(featuresGroup1, featuresGroup2)
           ^
<console>:23: error: not found: value featuresGroup2
       Seq(featuresGroup1, featuresGroup2)
                           ^

谁能帮忙？

Answer 1

我想也许我可以构建一个这些函数的列表，但这不起作用：

既然上面已经有了正确的语法df.featuresGroup1(_,_)，为什么还要在这里写featuresGroup1/2？

Seq(df.featuresGroup1(_,_), df.featuresGroup2(_,_)).map(_(groupBy, asAt))

df.featuresGroup1 _ 应该也可以。

df.featuresGroup1 如果你有一个预期的类型，它本身就可以工作，例如

val dataframes: Seq[(Seq[String], LocalDate) => DataFrame] = 
  Seq(df.featuresGroup1, df.featuresGroup2)

但在这种特定情况下，提供预期类型比使用 lambda 更详细。

Answer 2

我想也许我可以构建一个这些函数的列表，但那不起作用

您需要通过使用下划线运算符显式执行 eta expansion 以将方法转换为函数（它们在 Scala 中不一样）：

val funcs = Seq(featuresGroup1 _, featuresGroup2 _)

或使用占位符：

val funcs = Seq(featuresGroup1(_, _), featuresGroup2(_, _))

您使用map 运算符是绝对正确的：

val dataFrames = funcs.map(f => f(groupBy, asAdt))

---

我强烈建议不要使用 String 或 Seq 类型的隐式，因为如果在多个地方使用，这些会导致在代码中不会立即明显的细微错误，并且代码在移动时很容易中断某处。

如果您想使用隐式，请将它们包装成自定义类型：

case class DfGrouping(groupBy: Seq[String]) extends AnyVal

implicit val grouping: DfGrouping = DfGrouping(Seq("a", "b"))

Answer 3

为什么不直接在DataFrameExtensions 中创建一个函数来这样做呢？

def getDataframeGroups(groupBy: Seq[String], asAt: String) = Seq(featuresGroup1(groupBy,asAt), featuresGroup2(groupBy,asAt))

Answer 4

我认为您可以创建如下函数列表：

val funcs:List[DataFrame=>(Seq[String], java.time.LocalDate) => org.apache.spark.sql.DataFrame]  = List(_.featuresGroup1, _.featuresGroup1)
funcs.map(x => x(df)(groupBy, asAt))

您似乎有一个将DataFrame 转换为另一个DataFrame 的函数列表。如果这是模式，您可以在 Scalaz 中使用 Endo 更进一步

Answer 5

我最喜欢这个答案，由 Alexey Romanov 提供。

import org.apache.spark.SparkConf
import org.apache.spark.sql.{DataFrame, SparkSession}
import java.time.LocalDate
object DataFrameExtensions_ {
  implicit class DataFrameExtensions(df: DataFrame){
    def featuresGroup1(groupBy: Seq[String], asAt: LocalDate): DataFrame = {df}
    def featuresGroup2(groupBy: Seq[String], asAt: LocalDate): DataFrame = {df}
  }
}
import DataFrameExtensions_._
val spark = SparkSession.builder().config(new SparkConf().setMaster("local[*]")).enableHiveSupport().getOrCreate()
import spark.implicits._
val df = Seq((8, "bat"),(64, "mouse"),(-27, "horse")).toDF("number", "word")
val groupBy = Seq("a","b")
val asAt = LocalDate.now()
Seq(df.featuresGroup1(_,_), df.featuresGroup2(_,_)).map(_(groupBy, asAt))