如何通过 azure Databricks 更新 Azure SQL 数据库/数据仓库表？

Question

我的项目中有一个要求，我在 Azure SQL DW 中实现 SCD 类型 2 表。我可以使用 JDBC 连接器插入新记录，但我需要将旧记录更新为“过期”并根据更新的值更新其他记录。

Answer 1

推荐的模式是使用Databricks Azure SQL DW Connector 批量加载临时表，或者将新数据写入blob 存储中的文件，或者datalake 并使用Polybase 外部表来保存新行。

然后，一旦新数据被加载到临时表中，或者在 Polybase 外部表中可用，编写一个 TSQL 存储过程来“将旧记录更新为“过期”并根据更新的值更新其他记录”。

Spark 只知道如何运行查询和加载表。但是您已经安装了 JDBC 驱动程序，并且可以使用 Scala 或 Java 的 JDBC 访问。例如：

%scala

import java.util.Properties
import java.sql.DriverManager

val jdbcUsername = dbutils.secrets.get(scope = "kv", key = "sqluser")
val jdbcPassword = dbutils.secrets.get(scope = "kv", key = "sqlpassword")
val driverClass = "com.microsoft.sqlserver.jdbc.SQLServerDriver"

// Create the JDBC URL without passing in the user and password parameters.
val jdbcUrl = s"jdbc:sqlserver://xxxxx.database.windows.net:1433;database=AdventureWorks;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;"

val connection = DriverManager.getConnection(jdbcUrl, jdbcUsername, jdbcPassword)
val stmt = connection.createStatement()
val sql = """

exec usp_someproc ...

"""

stmt.execute(sql)

connection.close()