R：使用 RODBC 和 SQL Server 的读取性能非常缓慢答案

【问题标题】：R: Painfully slow read performance using RODBC & SQL ServerR：使用 RODBC 和 SQL Server 的读取性能非常缓慢
【发布时间】：2015-09-05 18:25:23
【问题描述】：

我是 R 新手，但对使用 Shiny 使用存储在 SQL Server 数据库中的数据创建动态图表很感兴趣。为了实现交互性，我想从数据库中引入原始数据并在R 中执行计算，而不是让数据库汇总数据。

我能够使用RODBC 连接到数据库，执行查询，并在data.frame 中接收结果。但是，R 中的读取时间大约是 SQL Server Management Studio (SSMS) 中执行的相同查询的 12 倍。 SSMS 大约需要 600 毫秒，而 R 大约需要 7.6 秒。我的问题是我做错了什么，还是R 访问数据库真的很慢？如果是这样，是否有更快的替代方案（例如，将数据库输出写入文件并读取文件）？

有关查询的一些信息可能会有所帮助：该查询检索 4 列的大约 250K 行。第一列是日期，其他三列是数值。运行R 和SSMS 的机器是具有32GB 内存的高端Win 7 工作站。我正在运行的R 命令是：

system.time(df <- sqlQuery(cn, query))

user  system elapsed
7.17   0.01   7.58

有趣的是，从 SQL 到我的机器的数据传输似乎很快，但 R 在返回 data.frame 之前在内部忙了几秒钟。我看到这是因为网络利用率在第一秒达到峰值，并且几乎立即返回到接近 0。然后几秒钟后，Rdata.frame 返回。

【问题讨论】：

非常确定它就是这么慢，我们前段时间对其进行了评估并决定采用另一条路线然后使用 RODBC，除了非常简单的查询之外，它只是变慢了。

标签： sql-server r database performance rodbc

【解决方案1】：

我会尝试 RJDBC http://cran.r-project.org/web/packages/RJDBC/RJDBC.pdf

这些驱动程序https://msdn.microsoft.com/en-us/sqlserver/aa937724.aspx

library(RJDBC)
drv <- JDBC("com.microsoft.sqlserver.jdbc.SQLServerDriver","/sqljdbc4.jar") 
con <- dbConnect(drv, "jdbc:sqlserver://server.location", "username", "password")
dbGetQuery(con, "select column_name from table")

【讨论】：

谢谢！这绝对解决了问题。结果，经过的时间降至 0.84 秒。
我们可以在windows中使用RJDBC来加快进程吗？
是的。 JDBC（Java 数据库连接）可以在 OSX/Linux/Windows 上使用
JDBC(driverClass = "com.microsoft.sqlserver.jdbc.SQLServerDriver", classPath = "~/HTS/Data/R/Functions/Driver/sqljdbc41.jar") .jfindClass 中的错误（如.character(driverClass)[1]) : class not found 知道是什么导致了问题吗？

【解决方案2】：

我会确保您的 R 时区（例如，Sys.setenv(TZ='GMT') 设置为 GMT）与您从中提取数据的 SQL 服务器的时区相同。可能是日期列需要很长时间才能被解释，特别是如果它有时间戳。

RJDBC 将运行得更快，因为它将日期转换为字符，将其他所有内容转换为数字。 RODBC 将尝试保留 SQL 表的数据类型。

【讨论】：