从 parquet 文件创建 SQL 表

Question

我正在使用 R 处理大型数据集（最大数据帧 30.000.000 x 120）。这些文件作为 parquet 文件存储在 Azure Datalake Storage 中，我们需要每天查询这些文件并将它们还原到本地 SQL 数据库中。无需将数据加载到内存即可读取 Parquet 文件，这很方便。但是，从 parqueet 文件创建 SQL 表更具挑战性，因为我不想将数据加载到内存中。

这是我使用的代码。不幸的是，这不是一个完美的表示，因为它需要存在 SQL 数据库才能工作。

# load packages
library(tidyverse)
library(arrow)
library(sparklyr)
library(DBI)

# Create test data
test <- data.frame(matrix(rnorm(20), nrow=10))

# Save as parquet file
write_parquet(test2, tempfile(fileext = ".parquet"))


# Load main table
sc <- spark_connect(master = "local", spark_home = spark_home_dir())
test <- spark_read_parquet(sc, name = "test_main", path = "/tmp/RtmpeJBgyB/file2b5f4764e153.parquet", memory = FALSE, overwrite = TRUE)

# Save into SQL table
DBI::dbWriteTable(conn = connection,
                  name = DBI::Id(schema = "schema", table = "table"), 
                  value = test)

是否可以在不将 parquet 文件加载到内存的情况下编写 SQL 表？

Answer 1

我缺乏T-sql 批量导入和导出的经验，但您可能会在这里找到答案。

library(arrow)
library(DBI)
test <- data.frame(matrix(rnorm(20), nrow=10))
f <- tempfile(fileext = '.parquet')
write_parquet(test2, f)

#Upload table using bulk insert
dbExecute(connection, 
  paste("
    BULK INSERT [database].[schema].[table]
    FROM '", gsub('\\\\', '/', f), "' FORMAT = 'PARQUET';
  ")
)

这里我使用T-sql自己的bulk insert命令。
免责声明我还没有在T-sql中使用这个命令，所以它可能充满错误。例如，我在文档中看不到指定快速压缩的地方，尽管如果使用CREATE EXTERNAL FILE FORMAT 定义自定义文件格式，则可以指定它。

现在上面只插入到现有表中。对于您希望从文件创建新表的特定情况，您可能会使用CREATE TABLE AS [select statement] 寻找更多OPENROWSET。

column_definition <- paste(names(column_defs), column_defs, collapse = ',')
dbExecute(connection, 
paste0("CREATE TABLE MySqlTable
AS 
SELECT *
FROM 
  OPENROWSET(
    BULK '", f, "' FORMAT = 'PARQUET'
  ) WITH (
    ", paste0([Column definitions], ..., collapse = ', '), "
  );
")

其中column_defs 将是一个命名 列表或向量，描述为每列提供SQL 数据类型定义。 T-sql documentation page 上提供了（或多或少）从 R 数据类型到的完整转换（注意两个非常必要的转换：Date 和 POSIXlt 不存在）。再次免责声明：我在 T-sql 中的时间没有达到 BULK INSERT 或类似的。