SQL 链接服务器查询非常非常慢答案

【问题标题】：SQL Linked server query very very slowSQL 链接服务器查询非常非常慢
【发布时间】：2014-06-17 20:22:07
【问题描述】：

我正在通过链接服务器从 VIEWS 中提取大量数据。我使用的是 SQL Server 2012，链接服务器是 SQL Server 2008

我的选择语句是

SELECT * INTO MY_LOCAL_TABLE
FROM 
(    SELECT * FROM LINKEDSERVER.DB.TABLE.VIEW
     WHERE DATE>'2012-01-01' AND ID IN (SELECT ID FROM MY_LOCAL_VIEW) 
) Q

我预计近 700 多个 ID 有 300K 行。以前需要几个小时，但现在需要 20 多个小时！！

您能否为这种 PAIN 提出任何替代解决方案？

非常感谢提前！

【问题讨论】：

视图是否被编入索引？如果不是，它们是否包含子查询？如果没有，您可以为这些视图添加索引。
并且视图调用其他视图，尤其是在链接服务器上的性能是禁忌。
是的，视图已正确编入索引。如果我使用 OPENQUERY，有什么不同吗？还是 SSIS 包？
此实例中的另一个问题可能是链接服务器的权限 this link 和第 1 个列出的问题 - “权限不足”

标签： sql sql-server tsql

【解决方案1】：

当您使用由 4 部分组成的名称（例如 [server].db.dbo.table，尤其是在 join 中）时，通常会通过网络将整个表复制到本地计算机，这显然并不理想。

更好的方法是使用OPENQUERY——在源（链接服务器）处处理。

试试：

SELECT *
FROM OPENQUERY([LINKEDSERVER], 'SELECT * FROM DB.TABLE.VIEW WHERE DATE>'2012-01-01')
AND ID IN (SELECT ID FROM MY_LOCAL_VIEW)

使用这种方法，链接服务器将返回日期 > x 的所有行，然后本地服务器将按本地表中的 ID 过滤。

当然，索引仍然会成为 SELECT * FROM DB.TABLE.VIEW WHERE DATE>'2012-01-01 的一个因素。

我在大型子集上使用的另一种方法是将本地 ID 转储到远程服务器，然后远程处理它，例如：

    -- copy local table to linked server by executing remote query 
    DECLARE @SQL NVARCHAR(MAX)
    SET @SQL = 'SELECT ID INTO db.dbo.tmpTable FROM [SERVER].DB.DBO.MY_LOCAL_VIEW'
    EXEC(@SQL) AT [LINKEDSERVER]

   -- index remote table?!?
    DECLARE @SQL NVARCHAR(MAX)
    SET @SQL = 'CREATE INDEX [IXTMP] ON db.dbo.tmpTable (ID)'
    EXEC(@SQL) AT [LINKEDSERVER]

    -- run query on local machine against both remote tables
    SELECT *
    -- INTO sometable
    FROM OPENQUERY([LINKEDSERVER], 'SELECT * 
                                    FROM DB.TABLE.VIEW
                                    WHERE DATE>''2012-01-01''
                                    AND ID IN (SELECT ID FROM db.dbo.tmpTable)')

    -- now drop remote temp table of id's
    DECLARE @SQL NVARCHAR(MAX)
    SET @SQL = 'DROP TABLE db.dbo.tmpTable'
    EXEC(@SQL) AT [LINKEDSERVER]

如果本地视图也很大，那么您可以考虑执行一个远程查询，该查询使用一个 openquery 返回本地机器（假设远程机器有本地作为链接）。

-- copy local table to linked server by executing remote query 
DECLARE @SQL NVARCHAR(MAX)
SET @SQL = 'SELECT ID INTO db.dbo.tmpTable FROM OPENQUERY([SERVER], ''SELECT ID FROM DB.DBO.MY_LOCAL_VIEW'')'
EXEC(@SQL) AT [LINKEDSERVER]

【讨论】：

+1 确实是一个好方法。不知道这一点（我的意思是 openquery 因素）。
嗯...这对我来说似乎是个好主意。我不确定我是否有权在链接服务器上创建临时表，但我肯定会尝试你的建议，因为链接服务器包含超过 50K 的 ID！谢谢
可以将 ID 放入一个真正的临时表 (#table) 中——每个人都应该有权创建它们，并一次性运行它们。您也可以随时在 tempdb 中创建用户表，不必在您的工作数据库中。
谢谢你。真的很感激！
如果您无法在 tempdb 中制作表格，您可以将所有 ID 连接在一起并在 openquery 中使用 'SELECT * FROM DB.TABLE.VIEW WHERE DATE>'2012-01-01 and ID in (' + @concatednatedListOfIds + ')'。你说列表没有那么长。如果您的列表超长，那么这可能不是一个好主意。

【解决方案2】：

其他人已经提出了关于索引的建议。所以我不去那里。建议另一种选择，如果您可以更改该内部查询

 SELECT * FROM LINKEDSERVER.DB.TABLE.VIEW
 WHERE DATE>'2012-01-01' AND ID IN (SELECT ID FROM MY_LOCAL_VIEW)

使用inner join 进行joined 查询，因为您说有700 多个inlist 元素。试一试。

   SELECT lnv.* FROM LINKEDSERVER.DB.TABLE.VIEW lnv
   inner join MY_LOCAL_VIEW mcv
   on lnv.ID = mcv.ID
   and lnv.DATE > '2012-01-01'

【讨论】：

跨服务器连接经常会导致整个表复制到本地计算机，这应该只在您可以承受的非常小的表上完成。
@JiggsJedi，确实如此（再次，我在回答中提到过......这是一个值得尝试一次的建议）但如果连接的表不够大，这将在大多数情况下提高性能（根据我的观察）。