在 Scala 中重新推断序列类型

Question

假设我们有一个Any的序列

val seq = Seq(1,2,null)
seq: Seq[Any] = List(1, 2, null)

现在如果过滤非空元素获得一个新序列

val cleanSeq = seq.filterNot(_ == null)
cleanSeq: Seq[Any] = List(1, 2)

现在我想获得与创建类似cleanSeq 这样的新序列时获得的相同类型

val seq2 = Seq(1,2)
seq2: Seq[Int] = List(1, 2)

我可以从cleanSeq开始以某种方式获得Seq[Int]吗？

更新

前面只是一个虚拟示例，我可以有除Int 之外的其他类型，也可以有复杂类型示例：Array[Map[String, Float]]。

我能做的唯一假设是我有一个可能包含空值的序列。但是序列中的其他元素除了Any 之外都有一个共同的超类型。去掉空值后，我想找到常见的超类型。

更新

用例

我想从具有名称和值的列创建火花数据框。这些值存储在Seq 中。从Seq 的类型我想导出数据框的架构。

列的定义

  import reflect.runtime.universe._
  import org.apache.spark.sql.catalyst.ScalaReflection
  import org.apache.spark.sql.types._

  case class InternalColumn[A: TypeTag](colName: String, col: Seq[A]) {

    private def getType: DataType = ScalaReflection.schemaFor[A].dataType

    def genStructField: StructField = StructField(colName, getType)
  }

创建数据框：

 def createDF[T](data: Seq[T], sch: StructType): DataFrame = {
    val dataRow: Seq[Row] = data.map {
      case row: Row => row
      case prod: Product => Row(prod.productIterator.toSeq: _*)
      case d => Row(d)
    }
    spark.createDataFrame(sc.makeRDD(dataRow), sch)
  }

用法

  def createFromColumns(data: Seq[InternalColumn[_]]): DataFrame = {
    def loop(schema: StructType, cols: Seq[InternalColumn[_]]): StructType = cols.toList match {
      case Nil => schema
      case h :: t => loop(schema.add(h.genStructField), t)
    }

    val sch: StructType = loop(new StructType(), data)
    createDF(data.map(_.col).transpose.map(Row.fromSeq), sch)
  }

val df = createFromColumns(List(InternalColumn("c1", List(1,2,3)), InternalColumn("c2", List("a", "b", "c"))))

scala> df.show()
+---+---+
| c1| c2|
+---+---+
|  1|  a|
|  2|  b|
|  3|  c|
+---+---+


scala> df.printSchema
root
 |-- c1: integer (nullable = true)
 |-- c2: string (nullable = true)

到目前为止效果很好。但是有人可能想要创建一个数据框，其中包含一个包含空值的列。如果具有 null 的列可以为空，例如它具有 StringType，那么它仍然有效。

当您在不可为空的列中有空值时会出现问题，例如：

scala> val df = createFromColumns(List(InternalColumn("c1", List(1,2,null)), InternalColumn("c2", List("a", "b", "c"))))
java.lang.UnsupportedOperationException: Schema for type Any is not supported

这就是我想在删除所有空值时推断序列类型的原因。

Answer 1

您首先应该尽量不要丢失正确的类型（Seq[Any] 是一种不好的代码味道，就像使用 null 一样），但要找回真实的类型，您可以进行运行时类型检查：

 seq.collect{ case x: Int => x } 

这将再次是Seq[Int]，丢弃了所有不是Int的东西。

如果您实际上没有其他东西，而只是 Int 或 null，请考虑改用 Option[Int]：

val seq: Seq[Option[Int]] = Seq(Some(1), Some(2), None)
// then you can do
seq.flatten // gives you Seq[Int] 

去掉空值后，我想找到常见的超类型。

您确实必须知道（在您编写程序时）常见的超类型应该是什么。然后您可以编写代码来检查该类型。

如果你不知道你想要一个Seq[Int]，你会声明结果的类型是什么？请记住，这些泛型类型（Seq[Int] 中的 Int）在运行时会被删除，并且只存在于编译时进行静态类型检查。