【发布时间】:2025-11-27 13:40:03
【问题描述】:
什么是“spark.executor.memoryOverhead”和“spark.memory.fraction”?
什么是默认属性
【问题讨论】:
标签: apache-spark apache-spark-sql
什么是“spark.executor.memoryOverhead”和“spark.memory.fraction”?
什么是默认属性
【问题讨论】:
标签: apache-spark apache-spark-sql
spark.memory.fraction参数可以用来分别理解可用于存储的内存和可用于执行的内存。如果您在内存中缓存了太多对象,那么您将需要更多的存储空间(spark.memory.fraction 可以是 0.5/0.6)。但是,如果您将内存用于主要执行目的,那么您需要有可用于执行的内存(spark.memory.fraction 可以是 0.2/0.3)。
【讨论】: