【问题标题】:'SparkSession' object has no attribute 'databricks'“SparkSession”对象没有属性“databricks”
【发布时间】:2019-08-30 18:08:33
【问题描述】:

databricks 和 spark 新手,我正在尝试运行以下命令并遇到此错误

spark.databricks.delta.retentionDurationCheck.enabled= "false"

错误:'SparkSession' object has no attribute 'databricks'

【问题讨论】:

  • 这看起来像一个配置。如果是 SQL 配置,则使用 SET 命令,否则使用 --conf 将其传递给 Spark 应用程序

标签: apache-spark pyspark databricks delta-lake


【解决方案1】:

应该是sql

spark.sql("SET spark.databricks.delta.retentionDurationCheck.enabled=false") 

或者把它作为spark Conf属性放入

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2019-05-17
    • 2017-01-24
    • 2022-06-20
    • 2018-03-31
    • 1970-01-01
    • 1970-01-01
    • 2012-12-01
    相关资源
    最近更新 更多