【问题标题】:How to write JSON column type to Postgres with PySpark?如何使用 PySpark 将 JSON 列类型写入 Postgres?
【发布时间】:2017-09-07 04:37:21
【问题描述】:

我有一个 Postgresql 表,其中有一列数据类型为 JSONB

如何通过 JDBC 将DataFrame 插入 Postgresql 表?

如果我有一个 UDF 将 body 列转换为 JSONB Postgresql 数据类型,我应该使用什么对应的 pyspark.sql.types

带有JSONB 列的Postgresql 表:

创建表虚拟( 标识大整数, 正文 JSONB );

谢谢!

【问题讨论】:

    标签: postgresql jdbc pyspark pyspark-sql


    【解决方案1】:

    事实证明,如果我将"stringtype":"unspecified" 设置为 JDBC 的属性,Postgres 会自动转换:

    属性 = { “用户”:“***”, “密码”: ”***”, “字符串类型”:“未指定” } df.write.jdbc(url=url, table="dummy", properties=properties)

    【讨论】:

    • 我尝试了这个,但我仍然得到一个错误,尽管略有不同(抱怨类型是“字符”而不是“字符变化”)。这似乎是由 NULL 值的存在引起的。
    猜你喜欢
    • 2017-05-19
    • 2020-10-09
    • 1970-01-01
    • 1970-01-01
    • 2021-12-09
    • 2021-12-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多