我使用 ADF/synapse 管道将我的事实数据从源提取到专用 sql 池中的暂存模式表。
我现在的任务是使用代理键丰富事实数据，该代理键是通过从 prod 模式中已经存在的小维度表中查找来实现的。
为此，我一直在使用 ADF/突触数据流，但它似乎效率低下，因为它将数据移回 ADF。我可以通过 spark notebook 做到这一点，但似乎也是不必要的数据移动。
所以我认为最好的方法是在专用的 sql 池上创建一个存储过程来执行这种扩充。我关心的是确保这个 sql proc 以高性能的方式编码（而不是逐行插入）。
有很多 proc 示例从无到有 (ctas) 创建表，但我还没有找到以可扩展方式执行丰富/追加操作的示例。对此有什么好的 sql 代码实践？
【问题讨论】：
标签： azure-synapse
我认为最好的做法是将您的小维度分布为REPLICATE，并使用CTAS 在合适的列上创建HASH 分布式表。如果您有足够的容量，还可以考虑进行分区切换。一个简化的例子：
CREATE TABLE fact.yourBigTable
WITH
(
CLUSTERED COLUMNSTORE INDEX,
DISTRIBUTION = HASH( someColumn )
)
AS
SELECT ...
FROM staging. ...
CREATE TABLE dim.yourSmallTable (
...
)
WITH
(
CLUSTERED INDEX ( someColumn ),
DISTRIBUTION = REPLICATE
);
CTAS 经过优化，可在专用 SQL 池的 MPP 基础架构上正常工作。如果您觉得 CTAS 不合适，请直接查看 INSERT。专用 SQL 池现在支持 MERGE（预览版），因此也值得一看。
我同意你不要为此使用 ADF 或数据流，因为没有什么比直接在服务器上运行一点 SQL 更快的了，我将这些东西保留给你不能用 SQL 做的事情，例如编排/运行任务并行，高级转换（例如使用笔记本）等等。
【讨论】：
INSERT / UPDATE / DELETE 或 MERGE。您是否尝试过其中任何一个？您也可以尝试将其分为两个阶段，即使用 CTAS 创建一个添加了代理键的临时表，然后从那里进行 upsert。我会尝试几种方法，看看哪种方法最适合您的工作量。