Databricks 笔记本单元运行时答案

【问题标题】：Databricks Notebook Cell RuntimeDatabricks 笔记本单元运行时
【发布时间】：2020-12-21 09:59:36
【问题描述】：

有没有办法使用 Pyspark 获取数据砖笔记本中特定单元格的运行时？

【问题讨论】：

【解决方案1】：

您可以通过调用 System.nanoTime (Scala) 来做到这一点。将 Spark 与 Scala 结合使用时，一种执行代码并测量其运行时间的方法是使用：spark.time(

注意：您可以使用 %magic 命令在笔记本中运行多种语言。

或

【讨论】：

当我运行上面的代码 sn-p 时，我得到一个单一的结果 eerytime (7.0.x-scala2.12)。我如何确定花费的时间？
整个笔记本单元绑定到与附加集群关联的单个运行时。如果您更改与笔记本关联的集群，您将看到附加集群的运行时版本。
明白你的意思，但我需要将特定单元格的运行时间存储在变量中并重用。我怎样才能达到这个要求。
对不起，我误解了这个问题不正确。我以为您想要获取 Azure Databricks 运行时而不是单元格的执行时间。以下是获取执行时间的几种方法（您可以通过调用 System.nanoTime (Scala) 或 time.time() (Python) 来实现。将 Spark 与 Scala 结合使用时，一种执行代码并测量其运行时间的方法是通过使用： spark.time().

【解决方案2】：

import time
start = time.time()

time.sleep(3)
end = time.time()
diff=end - start
print(diff)

我能够用上面的代码实现我的要求

【讨论】：