Scala - 当 Row.get(i) 将检索 null 时如何避免 java.lang.IllegalArgumentException

Question

我正在使用 Spark 和 Scala 来读取一些 parquet 文件。我面临的问题是这个镶木地板文件的内容可能会有所不同，即某些字段有时不存在。因此，当我尝试访问文件中不存在的字段时，会出现以下异常：

java.lang.IllegalArgumentException：字段“wrongHeaderIndicator”确实 不存在。

我曾经在 Java 中做过类似的事情，可以使用 contains() 或 get(index)!= null 来检查我们尝试访问的字段是否存在。但我不能在 Scala 中做同样的事情。

您可以在下面看到我到目前为止所写的内容以及我尝试过的四件事，但均未成功。

//The part of reading the parquet file and accessing the rows works fine
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._

val parquetFileDF = sqlContext.read.parquet("myParquet.parquet')

//I get one of the six blocks in the parquet file
val myHeaderData = parquetFileDF.select("HeaderData").collectAsList()

//When I try to access a particular field which is not in the "HeaderData"
//I get the exception

//1st Try
Option(myHeaderData.get(0).getStruct(0).getAs[String]("wrongHeaderIndicator")) match {
      case Some(i) => println("This data exist")
      case None => println("This would be a null") 
}

//2nd Try
if(myHeaderData.get(0).getStruct(0).getAs[String]("wrongHeaderIndicator")!= null)
        println("This data exist")
    else
        println("This is null")

//3rd Try
println(myHeaderData.get(0).getStruct(0).fieldIndex("wrongHeaderIndicator"))

//4th Try
println(Some(myHeaderData.get(0).getStruct(0).getAs[String]("wrongHeaderIndicator")))

编辑。 问题不在于我访问 DataFrame 的列时。列总是相同的，我不需要在选择之前执行检查。一旦我访问特定列中记录的字段，问题就会出现。这些记录是您可以在下面看到的架构的结构：

myHeaderData 列的架构类似于：

|-- myHeaderData: struct (nullable = true)
 |    |-- myOpIndicator: string (nullable = true)
 |    |-- mySecondaryFlag: string (nullable = true)
 |    |-- myDownloadDate: string (nullable = true)
 |    |-- myDownloadTime: string (nullable = true)
 |    |-- myUUID: string (nullable = true)

如果我跑了

myHeaderData.get(0).getStruct(0).schema

我得到以下输出：

StructType(StructField(myOpIndicator,StringType,true), StructField(mySecondaryFlag,StringType,true), StructField(myDownloadDate,StringType,true), StructField(myDownloadTime,StringType,true), StructField(myUUID,StringType,true))

我尝试的四件事产生了相同的异常。谁能告诉我我可以用什么来检查结构中是否存在字段而不生成异常？

谢谢

Answer 1

你的假设是错误的。如果getAs 字段不存在，它会抛出异常，而不是返回null。因此你应该使用Try:

import scala.util.{Try, Success, Failure}
import org.apache.spark.sql.Row

val row: Row = spark.read.json(sc.parallelize(Seq(
  """{"myHeaderData": {"myOpIndicator": "foo"}}"""))).first

Try(row.getAs[Row]("myHeaderData").getAs[String]("myOpIndicator")) match {
  case Success(s) => println(s)
  case _ => println("error")
}

Answer 2

您可以轻松检查数据框中是否存在列。使用df.columns 方法获取包含数据中所有标题的数组，然后检查您的列（wrongHeaderIndicator）是否在数组中。这是一个简短的例子：

val df = Seq(("aaa", "123"), ("bbb", "456"), ("ccc", "789")).toDF("col1", "col2")
df.show()

+----+----+
|col1|col2|
+----+----+
| aaa| 123|
| bbb| 456|
| ccc| 789|
+----+----+

现在使用df.columns.toList 将为您提供List(col1, col2)。要检查您的字段是否存在，只需执行df.columns.contains("fieldName")。