【发布时间】:2020-03-21 02:36:07
【问题描述】:
Databricks 允许为集群创建两种风格:高并发和标准。高并发不接受 Scala 代码... :- (。选择对交互式集群可见,但对自动集群不可见。
我担心的是一个流式应用程序,其中提交了一项作业以执行物联网采集。所以这将是一项工作,问题是关于集群:它是高并发的还是标准的?
谢谢!
【问题讨论】:
标签: apache-spark spark-structured-streaming azure-databricks
Databricks 允许为集群创建两种风格:高并发和标准。高并发不接受 Scala 代码... :- (。选择对交互式集群可见,但对自动集群不可见。
我担心的是一个流式应用程序,其中提交了一项作业以执行物联网采集。所以这将是一项工作,问题是关于集群:它是高并发的还是标准的?
谢谢!
【问题讨论】:
标签: apache-spark spark-structured-streaming azure-databricks
这取决于您是在作业定义中使用新的自动化集群还是选择使用现有集群。自动化集群被认为是数据工程负载,不支持高并发(无论如何这都没有任何意义,因为为每个作业创建了作业集群)。
【讨论】: