AWS Glue 嵌套 postgres jsonb 列答案

【问题标题】：AWS Glue denest postgres jsonb columnAWS Glue 嵌套 postgres jsonb 列
【发布时间】：2019-08-30 12:09:59
【问题描述】：

我想将一个 jsonb 列展平为同一个表中的多个目标列。我找不到一个内置函数来完成这个。 Glue 爬虫将 jsonb 列注册为字符串。当我将数据放在 s3 上时，我可以使用 Unbox.apply() 将其更改为结构。

我尝试使用 Relationalize 和 UnnestFrame 来嵌套 jsonb 列。都不工作。 Relationalize 似乎只适用于 go .json 文件。我不确定为什么 UnnestFrame 不起作用。

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)
datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "mycatalogdb", table_name = "sourcedb_public_tablename", transformation_ctx = "datasource0")

dfc = UnnestFrame.apply(frame = datasource0, transformation_ctx = "dfc", info="", stageThreshold=0, totalThreshold=0)

dropnullfields3 = DropNullFields.apply(frame = dfc, transformation_ctx = "dropnullfields3")

datasink4 = glueContext.write_dynamic_frame.from_options(frame = dropnullfields3, connection_type = "s3", connection_options = {"path": "s3://mybucket"}, format = "parquet", transformation_ctx = "datasink4")
job.commit()

给定一个包含以下内容的源表


+----+------------+-------------------------------------------------------+
| id |    date    |                        myjson                         |
+----+------------+-------------------------------------------------------+
|  1 | 2019-10-10 | {"url":some-url,"data":{"afield":123,"moredata":567"} |
+----+------------+-------------------------------------------------------+

我想要这个输出（列名格式不像表格格式那么重要）

+----+------------+----------+-------------+---------------+
| id |    date    |   url    | data_afield | data_moredata |
+----+------------+----------+-------------+---------------+
|  1 | 2019-10-10 | some-url |         123 |           567 |
+----+------------+----------+-------------+---------------+

【问题讨论】：

标签： python pyspark aws-glue

【解决方案1】：

我最终发现，我错误地使用了关系化，但 Glue 并没有抛出错误。在以交互方式使用 SageMaker 并在阅读 this post 时意识到，relationalize() 返回一个集合后，我能够弄清楚这一点。

Relationalize 可用于包含 json 字段的数据框。换句话说，数据框不必来自纯 json。

【讨论】：