Azure Synapse Apache Spark：管道级火花配置

Question

尝试为整个 azure synapse 管道配置 spark，发现 Spark session config magic command 和 How to set Spark / Pyspark custom configs in Synapse Workspace spark pool 。 %%configuremagic 命令适用于单个笔记本。示例：

在笔记本开头插入包含以下内容的单元格

%%configure -f
{
    "driverMemory": "28g",
    "driverCores": 4,
    "executorMemory": "32g",
    "executorCores": 4,
    "numExecutors" : 5
}

然后下面会发出期望值。

spark_executor_instances = spark.conf.get("spark.executor.instances")
print(f"spark.executor.instances {spark_executor_instances}")

spark_executor_memory = spark.conf.get("spark.executor.memory")
print(f"spark.executor.memory {spark_executor_memory}")

spark_driver_memory = spark.conf.get("spark.driver.memory")
print(f"spark.driver.memory {spark_driver_memory}")

虽然如果我将该笔记本添加为 Azure Synapse 管道中的第一个活动，会发生什么情况是执行该笔记本的 Apache Spark 应用程序具有正确的配置，但管道中的其余笔记本回退到默认配置。

如何为整个管道配置 spark ？我应该在管道中的每个笔记本中复制%%configure .. 上方的粘贴还是有更好的方法？

Answer 1

是的，这是众所周知的选项 AFAIK。您需要在每个 Notebook 的开头定义 %%configure -f 以覆盖您的作业的默认设置。

或者，您可以尝试遍历 Azure 门户上的 Spark 池，并通过上传如下所示的文本文件来设置 Spark 池中的配置：

更多详情请参考third-party article。

此外，似乎不能为执行程序指定少于 4 个内核，也不能为驱动程序指定少于 4 个内核。如果这样做，您将获得 1 个核心，但仍保留 4 个核心。