将 Spark Scala 数据帧列转换为字节数组

Question

我正在尝试将 Spark Scala DataFrame Column 编写为字节数组。 我有一个由两列组成的 DataFrame。第一列是一个字符串，第二列是从 Strings 到 Longs 的 Map。

例如，

user_id | map
"ac2"   | Map("c2" -> 1, "b3" -> 5)

我想将映射列写为字节数组。到目前为止，我已经尝试将 Jackson 与以下 UDF 一起使用：

val writeJackson = udf { x: Map[String, Long] =>
    jacksonWriter.writeValueAsBytes(x)
}

val df2 = df.withColumn("jacksonMap", writeJackson($"map"))

但这失败了，因为

java.io.NotSerializableException: com.fasterxml.jackson.module.paranamer.shaded.CachingParanamer

有没有办法让它与 Jackson 一起工作，如果没有，是否有不同的库可以让我将此 Spark 列写为字节数组？

Answer 1

我能够转换为ByteArray 并使用以下代码获取输出。使用火花 1.6.2。

object DF {

  def main(args: Array[String]): Unit = {

    val mapper: ObjectMapper = new ObjectMapper
    mapper.registerModule(DefaultScalaModule)

    val df = Seq(
      ("ac2", Map("c2" -> 1, "b3" -> 5))
    ).toDF("id", "map")

    df.show(false)
    //output
    // +---+---------------------+
    // |id |map                  |
    // +---+---------------------+
    // |ac2|Map(c2 -> 1, b3 -> 5)|
    // +---+---------------------+
    val getByteArray = udf((map: Map[String, Int]) => mapper.writeValueAsBytes(map))

    df.withColumn("bytearray", getByteArray($"map")).show(false)

    //output
    // +---+---------------------+----------------------------------------------+
    // |id |map                  |bytearray                                     |
    // +---+---------------------+----------------------------------------------+
    // |ac2|Map(c2 -> 1, b3 -> 5)|[7B 22 63 32 22 3A 31 2C 22 62 33 22 3A 35 7D]|
    // +---+---------------------+----------------------------------------------+
  }
}