【问题标题】:Calling databricks notebook using Databricks Job api runs-submit endpoint using AWS Lambda function使用 Databricks Job api 调用 databricks notebook 使用 AWS Lambda 函数运行-提交端点
【发布时间】:2019-09-23 06:57:11
【问题描述】:

我正在尝试建立一个 AWS lambda 函数,该函数调用一个 databricks 笔记本(在 s3 触发器的情况下)。如何通过在 Lambda 函数中使用 python 编码来实现这一点,还需要从文件中传递参数s3 存储桶到 databricks 笔记本。请帮忙

【问题讨论】:

  • 我觉得这个可以帮到你databricks.com/blog/2016/10/11/…
  • @Vikas Damodar Vikas,您好,这里有用 Node.js 编写的代码。是否可以通过传递参数使用python代码连接到Databricks并执行notebook?
  • 还请发表您对解决方案的想法,以及到目前为止您为实施它所做的工作。

标签: python aws-lambda parameter-passing databricks


【解决方案1】:

您可以将 Databricks 作业 API 用于带有新参数的 run an existing jobsubmit an adhoc run

requests 库是使用 Python 进行 REST 调用的流行库。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2022-01-26
    • 1970-01-01
    • 1970-01-01
    • 2022-01-14
    • 2019-11-07
    • 2020-08-21
    • 2021-05-12
    • 1970-01-01
    相关资源
    最近更新 更多