如何从 s3 将 JSON 转换为 CSV 文件并使用 Glue 作业将其保存在同一个 s3 存储桶中

【问题标题】：How to convert JSON to CSV file from s3 and save it in same s3 bucket using Glue job如何从 s3 将 JSON 转换为 CSV 文件并使用 Glue 作业将其保存在同一个 s3 存储桶中
【发布时间】：2022-11-23 20:05:50
【问题描述】：

请帮我处理编码部分

我在谷歌上搜索了代码，但它只显示了使用 lambda 处理程序。我的项目需要使用 gluejob。

【问题讨论】：

请提供足够的代码，以便其他人可以更好地理解或重现问题。

标签： python amazon-web-services amazon-s3 aws-lambda amazon-glue

【解决方案1】：

在这里您可以找到将 json 转换为 csv 的答案。

GlueContext glueContext = new GlueContext(Spark.getActiveSession())

val jsonDf = glueContext.getSource(
      connectionType = "s3",
      connectionOptions = JsonOptions(Map("paths" -&gt; "s3://:sourcePath/data.json")),
      format = "json",
      transformationContext = "jsonDf"
    )

val dataDf = jsonDf.toDF()
val csvRDD = dataDf.repartition(1).rdd.map(_.mkString(","))
csvRDD.saveAsTextFile("s3://sourcePath/data.csv")

【讨论】：