将巨大的 .Rdata 文件（R 数据帧）加载到 SQL Server 中的最快方法是什么？

Question

我目前通过以下方式使用库（RODBC）：

dbhandle <- odbcDriverConnect('driver={SQL Server};server=xxxxxx;database=yyyy;trusted_connection=true')
sqlSave(dbhandle, R_table ,tablename = "SQL_table" )

这个问题是，将 1000 万行加载到 SQL Server 大约需要 5 个小时。

有时加载时会中断。因此，我将 .Rdata 分解为更小的块，并按顺序将其加载到 SQL Server 中。

有没有更快的方法来实现这一点？

Answer 1

我会以 CSV 格式导出我的数据并使用BULK INSERT。如果您真的想要（或必须）使用 sqlSave，那么，我想到的唯一选择是：

1. 一定要在sqlSave中设置fast=TRUE
2. 在运行 sqlSave 之前设置自动提交关闭：odbcSetAutoCommit(dbhandle, autoCommit = FALSE) 并在 sqlSave 之后提交 odbcEndTran(dbhandle, commit = TRUE)

但是，在我看来，真正的解决方案是 BULK INSERT。