如何将多维数组添加到现有的 Spark DataFrame

Question

如果我理解正确，可以将 ArrayType 添加为 Spark DataFrame 列。我正在尝试使用 withColumn 方法将多维数组添加到现有的 Spark DataFrame 中。我的想法是让这个数组可用于每个 DataFrame 行，以便使用它从 map 函数发回信息。

我得到的错误是 withColumn 函数正在寻找 Column 类型，但它正在获取一个数组。是否有任何其他功能可以添加ArrayType？

    object TestDataFrameWithMultiDimArray {
  val nrRows = 1400
  val nrCols = 500

  /** Our main function where the action happens */
  def main(args: Array[String]) {

    // Create a SparkContext using every core of the local machine, named RatingsCounter
    val sc = new SparkContext("local[*]", "TestDataFrameWithMultiDimArray")  
    val sqlContext = new SQLContext(sc)

    val PropertiesDF = sqlContext.read
    .format("com.crealytics.spark.excel")
    .option("location", "C:/Users/tjoha/Desktop/Properties.xlsx")
    .option("useHeader", "true")
    .option("treatEmptyValuesAsNulls", "true")
    .option("inferSchema", "true")
    .option("addColorColumns", "False")
    .option("sheetName", "Sheet1")
    .load()

    PropertiesDF.show()
    PropertiesDF.printSchema()

    val PropertiesDFPlusMultiDimArray = PropertiesDF.withColumn("ArrayCol", Array.ofDim[Any](nrRows,nrCols))

  }

感谢您的帮助。

亲切的问候，

约翰

Answer 1

您的代码中有 2 个问题

1. withColumn 的第二个参数必须是 Column。你可以用函数col 包装常量值

2. Spark 不能将Any 作为其列类型，您需要使用特定支持的类​​型。

   val PropertiesDFPlusMultiDimArray = PropertiesDF.withColumn("ArrayCol", lit(Array.ofDim[Int](nrRows,nrCols)))

会成功的