大规模更新时 Linq 极度缓慢

Question

我想更新可能有一百万条记录。我喜欢 Linq，我在下面写了这个来尝试完成这个。我真的希望我写这个可怕的错误。跑了好几个小时。我用 T-sql 编写它，它在几分钟内运行。有没有更好的方法可以用 linq 做到这一点？

 private static void UpdateZipCodes()
            {
                Console.WriteLine("Update Zip Codes Started");
                DataDataContext _db = new DataDataContext();


                var newBadZips = (from n in _db.NewCars
                                  where n.loczip == null || n.loczip == ""
                                  select n).ToList();
                foreach (var bad in newBadZips)
                {
                    string lZip = _db.Dealers.Where(x => x.DealerID == bad.DealerID).Select(x => x.Zipcode).SingleOrDefault();

                    bad.loczip = lZip;
                    _db.SubmitChanges();


                }
                Console.WriteLine("Update Zip Codes Finshed");
            }

T-Sql 版本

UPDATE n

SET n.loczip = d.Zipcode

FROM            NewCars AS n INNER JOIN
                         Dealers AS d ON n.DealerID = d.DealerID
                         where n.loczip is null or n.loczip = ''

我明白 linq 的明显作用是做得更多。我想知道如何改进我的 linq 查询？

我并不想比较它们，因为我知道 T-sql 是实现这一目标的正确方法。这主要是为了让我更擅长使用 linq。我确信我会想在某一时刻以较小的规模做这样的事情，并希望在 linq 中正确地做到这一点。

Answer 1

您正在循环中查询数据库中的每个项目。那很糟。它几乎总是错误的，而且几乎总是很慢。

就像您在 T-SQL 代码中所做的那样，在您的 LINQ 代码中使用 Join 以在一个查询中获取您需要的所有信息。

接下来，不要在每条记录后更新数据库；而是批量更新它们以减少网络流量。您将无法一次完成一百万，但您可以每 100 或 1000 行或任何行提交一个批次（尝试使用不同的批次大小值，看看哪种效果最好）。

另外，不要在拥有一百万条记录的表上调用 ToList。只需迭代查询，以便查询提供程序可以流式传输数据。

var newBadZips = (from car in _db.NewCars
                        where car.loczip == null || car.loczip == ""
                        join dealer in  _db.Dealers
                        on car.DealerID equals dealer.DealerID
                        into dealers
                        select new{
                            car,
                            zip = dealers.Select(d => d.Zipcode)
                            .SingleOrDefault(),
                        });

int count = 0;
int batchSize = 1000;
foreach(var row in newBadZips)
{
    row.car.loczip = row.zip;
    if(++count % batchSize == 0)
        _db.SubmitChanges();
}

Answer 2

在这种情况下提高 LINQ 速度的绝对最佳方法就是不使用 LINQ。要么直接运行 T-SQL 更新查询，要么将其放入 proc 并调用它。

现在，既然您显然喜欢 LINQ，我为什么要提倡这一点？很简单：LINQ 没有为用例提供任何好处，同时也损害了性能。简而言之，它是这项工作的错误工具。要更好地使用某物，其中一部分就是要知道何时不适合使用它。