【问题标题】:How to execute a update query in spark sql temp tables如何在 spark sql 临时表中执行更新查询
【发布时间】:2023-01-20 16:50:38
【问题描述】:

我正在尝试下面的代码,但它抛出了一些我无法理解的随机错误:

df.registerTempTable("Temp_table")

spark.sql("Update Temp_table set column_a='1'")

【问题讨论】:

  • 请以文本形式分享错误回溯。
  • 这是我现在收到的主要错误“消息”:“调用 o69.sql 时发生错误。\n:java.lang.UnsupportedOperationException:暂时不支持更新表。”;有什么解决方法吗?
  • 使用 df api (.withColumn()),覆盖列
  • 你能给我举个例子吗?如果可能,使用多个连接。我找不到更好的例子
  • 那么您提出的问题与您手头的问题不同。也许用你的问题陈述提出一个新问题。

标签: pyspark apache-spark-sql


【解决方案1】:

前几天遇到了同样的问题。 目前 spark sql 不支持 UPDATE 语句。解决方法是使用您的 spark 数据框创建一个 delta lake / iceberg 表,并直接在此表上执行您的 sql 查询。

冰山实现参考: https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-format-iceberg.html

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2017-11-26
    • 2017-04-12
    • 1970-01-01
    • 2015-04-20
    • 2018-11-20
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多