将 RDD[OmnitureData] 写入 S3

Question

我有一个 RDD，其中包含我的自定义类 OmnitureData 的对象类型。 OmnitureData 数据包含 1000 个数据变量。我想将数据写入 S3。

data: RDD[OmnitureData]
data.saveAsTextFile(path)

在 S3 中，我将数据视为：

OmnitureFeedOutputEntry@5655c68b
OmnitureFeedOutputEntry@kgfwe77c
OmnitureFeedOutputEntry@4rjkks8f
OmnitureFeedOutputEntry@57bfgk6d
OmnitureFeedOutputEntry@646lk6sd

如何以可以看到 OmnitureData 成员实际数据的方式存储它？

Answer 1

找到了解决办法。

def writeOnS3(data: RDD[OmnitureFeedOutputEntry], path: String)= {
try {
  val finalData: RDD[String] = data.map(x => {
    implicit val formats = Serialization.formats(NoTypeHints)
    write(x)})
  finalData.saveAsTextFile(path)
  logger.info("task=writeOnS3, status=success")
} catch {
  case e: Exception =>  logger.error("task=writeOnS3, status=failure")
}

}