从 csv 读取数据返回空值

Question

我正在尝试使用 Scala 和 Spark 从 csv 读取数据，但是 列的值为空。

我尝试从 csv 读取数据。我还提供了一个架构 方便查询数据。

private val myData= sparkSession.read.schema(createDataSchema).csv("data/myData.csv")

def createDataSchema = {
    val schema = StructType(
      Array(
        StructField("data_index",StringType, nullable = false),
        StructField("property_a",IntegerType, nullable = false),
        StructField("property_b",IntegerType, nullable = false),
        //some other columns
     )
   )

   schema

查询数据：

val myProperty= accidentData.select($"property_b")
myProperty.collect()

我希望数据作为某些值的列表返回

但它们作为包含空值的列表返回（值为空）。 为什么？

当我打印架构时，可为空设置为 true 而不是 false。

我正在使用 Scala 2.12.9 和 Spark 2.4.3。

Answer 1

在从 CSV 文件加载数据时，尽管 schema 已提供为 nullable = false，Still Spark 将 schema 覆盖为 nullable = true，以便在数据加载期间可以避免空指针。

举个例子，假设 CSV 文件有两行，第二行的列值为空或空。

CSV:
a,1,2
b,,2

如果 nullable = false，当在数据帧上调用操作时，加载数据时会抛出空指针异常，因为要加载空/空值并且没有默认值会抛出空指针。所以为了避免它，Spark 将其覆盖为 nullable = true。

但是，这可以通过将所有 null 替换为默认值然后重新应用架构来解决。

val df = spark.read.schema(schema).csv("data/myData.csv")
val dfWithDefault = df.withColumn("property_a", when(col("property_a").isNull, 0).otherwise(df.col("property_a")))
val dfNullableFalse = spark.sqlContext.createDataFrame(dfWithDefault.rdd, schema)
dfNullableFalse.show(10)

df.printSchema()
root
|-- data_index: string (nullable = true)
|-- property_a: integer (nullable = true)
|-- property_b: integer (nullable = true)

dfNullableFalse.printSchema()
root
|-- data_index: string (nullable = false)
|-- property_a: integer (nullable = false)
|-- property_b: integer (nullable = false)