如何在 Google Dataproc 上安排 Spark 作业？

【问题标题】：How to schedule Spark jobs on Google Dataproc?如何在 Google Dataproc 上安排 Spark 作业？
【发布时间】：2020-08-24 09:51:44
【问题描述】：

我想使用 Dataproc 在 Google Cloud 上创建一个摄取/聚合流，我希望 Spark 作业每天/每小时一次在收集到的数据上运行。

有没有办法安排 Spark 作业？或者使这个触发器基于例如是否有任何新的数据事件到达流？

【问题讨论】：

你找到你需要的方式了吗
@HashanMalawana Henry 的回答非常适合调度和触发，我们可以使用 Cloud Functions。
谢谢，我会看到的。

标签： google-cloud-platform google-cloud-dataproc

【解决方案1】：

Dataproc Workflow + Cloud Scheduler 可能是您的解决方案。它完全支持您所描述的内容，例如在日常基地中运行一系列工作。

【讨论】：

猜你喜欢

2020-03-13
1970-01-01
1970-01-01
2023-03-18
1970-01-01
1970-01-01
2022-10-03
1970-01-01
2019-04-22

相关资源

下载 2021-06-05
下载 2023-02-22
下载 2023-02-03

最近更新更多

热门标签

Java Python linux javascript Mysql C# Docker 算法前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库数据结构大数据 js 机器学习微服务 Android Go 程序员面试 JVM ASP.net core 云原生人工智能后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习多线程 React 架构 devops 爬虫云计算 Spring Boot LeetCode