scala火花检查字段数据类型

Question

我只是想检查一个数据框的字段类型，所以我不得不写这个函数；

import scala.refelect.runtime.universe.TypeTag

import org.apache.spark.sql.DataFrame

def colCheck[T:TypeTag](data:DataFrame,colName:String):Boolean={
data.schema.exists(f->f.name==colName&f.dataType.isInstanceOf[T]
}

例如：data.schema.head 是StringType，名称是col1

我用 spark-shell 做这个

import org.apache.spark.sql.types.{IntegerType,StringType}

val data:DataFrame=spark.createDataFrame(List(("",1),("",2))).toDF("col1","col2")



data.schema.head.dataType.isInstanceOf[StringType]

> :Boolean =true  # write result


data.schema.head.dataType.isInstanceOf[IntegerType]

> :Boolean =false    # write result

colChek[IntegerType](data,"col1")

> :Boolean =true

我的预期是

colChek[IntegerType](data,"col1")

> :Boolean =false

colChek[StringType](data,"col1")

> :Boolean =false

但我得到了这个

colChek[IntegerType](data,"col1")

> :Boolean =true

这是什么原因造成的，如何解决，非常感谢

版本 火花2.4.5 scala的版本是2.11.12

Answer 1

您应该只传入IntegerType 作为值参数而不是类型参数，然后使用== 而不是isInstanceOf 进行比较。

import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.types.DataType

def colCheck(data: DataFrame, colName: String, tpe: DataType): Boolean =
  Option(data.schema(colName)).exists(_.dataType == tpe)

colCheck(df, "col1", IntegerType)

Answer 2

您需要避免如this answer 中所述的类型擦除：

import scala.reflect.{classTag, ClassTag}
import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.types.{DataType, IntegerType, StringType}

def colCheck[T: ClassTag](data: DataFrame, colName: String): Boolean = {
    data.schema.exists(
        f => f.name == colName & classTag[T].runtimeClass.isInstance(f.dataType)
    )
}

val data: DataFrame = spark.createDataFrame(List(("",1),("",2))).toDF("col1","col2")

colCheck[IntegerType](data, "col1")   // false
colCheck[IntegerType](data, "col2")   // true
colCheck[StringType](data, "col1")    // true
colCheck[StringType](data, "col2")    // false