hyperopt - 在 Spark 环境（Databricks）上并行调整超参数时在 hyperopt 上使用 SparkTrials 的问题

Question

在调优超参数的时候，我尝试使用hyperopt的sparkTrials函数来更快地并行调优，但是错误还是不断出现。

错误如下，推测与spark环境有关。我无法准确判断错误是什么。

错误是...

Broadcast variable {} not loaded !

我指的是the Notebook provided by databricks，其中“第 4 步：训练模型”，即使它是相同的代码，我的数据块环境中仍然会出现错误。

我应该如何编辑我的代码？

Answer 1

运行 synapse notbooka pyspark 节点时遇到同样的问题。