【发布时间】:2021-12-29 22:37:54
【问题描述】:
我们有在本地 Hadoop 集群上运行的 scala Jar 文件。它在 parquet 文件上创建 hive 表,并在 hive 表上进行进一步的 spark 处理。
我可以知道您对如何在突触火花池中运行这种基于蜂巢的火花处理的建议吗?如果可能,不改变我们的代码?
【问题讨论】:
标签: azure azure-synapse
我们有在本地 Hadoop 集群上运行的 scala Jar 文件。它在 parquet 文件上创建 hive 表,并在 hive 表上进行进一步的 spark 处理。
我可以知道您对如何在突触火花池中运行这种基于蜂巢的火花处理的建议吗?如果可能,不改变我们的代码?
【问题讨论】:
标签: azure azure-synapse
目前,Spark 仅适用于外部 Hive 表和非事务/非 ACID 管理的 Hive 表。它现在不支持 Hive ACID/事务表。
更多详情请参考Use external Hive Metastore for Synapse Spark Pool (Preview)
【讨论】: