Databricks Notebook 作为 livy 会话端点的替代品

【问题标题】：Databricks Notebook as Substitute for livy sessions endpointDatabricks Notebook 作为 livy 会话端点的替代品
【发布时间】：2021-11-01 14:28:48
【问题描述】：

我想通过 Databricks API 执行 Databrikcs Notebook 的代码并获取 Notebook 代码的输出作为响应。

是否有可能的解决方法？

Databricks SQL api 也可以吗？

【问题讨论】：

您可以创建数据块作业并通过 JOB API 调用运行该作业。参考：docs.databricks.com/dev-tools/api/latest/jobs.html#operation/…

标签： azure apache-spark databricks azure-databricks livy

【解决方案1】：

您可以通过 UI 创建作业，然后使用run-now API 触发它，也可以使用run-submit API 创建临时作业。这两个调用都会返回运行 ID。然后你可以通过get-run API监控状态，等待notebook执行。之后，您可以使用get-output API 获取笔记本的输出。

您还可以使用older API 1.2 在现有集群上执行各个命令。

【讨论】：