Polybase 中的增量负载

Question

我为 PolyBase 创建了一个外部表，用于将数据从 BLOB 存储加载到 Azure SQL 数据仓库。我有以下关于文件加载的问题。

1) 如果数据有增量增长，那么 PolyBase 将如何工作。如果有像

这样的日常示例文件

test_2019_02_01.incr
test_2019_02_02.incr

那么我们是否需要每次都创建删除并重新创建外部表。如果不是，我该如何完成这项工作

CREATE EXTERNAL TABLE [dbo].[sample]
 (
 [social] varchar(30) NOT NULL,
 [address] varchar(30) NOT NULL
 )
 with (
 LOCATION='/TEST/',
 DATA_SOURCE=POLYTEST,
 FILE_FORMAT=POLY_TEST_HEADER,
 REJECT_TYPE=VALUE,
 REJECT_VALUE=0
 )

2) 我可以在 PolyBase Azure BLOB 存储中编写 UNIX 脚本吗？

请分享您对此问题的看法。

Answer 1

您可以在 Azure SQL 数据仓库中创建一个表，来自文件的数据将驻留在该表中，然后创建位于 Azure 存储上的文件列表，并遍历该列表并为每个项目创建和删除一个外部表在名单上。您可以标记已处理的每个项目。每次创建外部表时，都会将数据加载到 Azure 数据仓库表中，然后删除外部表。 Here 你会找到一个完整的例子。