如何指示查询大数据集的当前进度？

Question

我想使用进度条来显示当前进度% 数据行已加载。我看到similiar question 已在 SO 中被问到，但解决方案只是建议使用选取框样式。

例如，我运行一个查询大型数据表的 Select 语句，这可能需要几秒钟。 我希望进度条更新查询的当前进度。这可能吗？

我知道我需要的东西很少：

1. 将检索总记录计数。 （可以先Select count(1)获取）
2. 一些通知告诉我刚刚检索了多少条记录。

对于2.是我不知道如何实现的部分。

我可以考虑将其拆分为情侣查询，但这可能并非一直都可行。

但是在 SQL 中与Cursor 类似的东西怎么样？要求 SQL Server 查询一个块并重复返回数据。

for loop{
    //query a chunk of records

    //return 

    //Next
}

所以我可以计算进度并将它们填充到单个DataTable。

上面可以做点什么吗？如果有，怎么做？

因为我看到一个 ASP.NET 应用程序能够显示加载大型数据表的进度，所以我想在 WPF 中实现同样的事情。

Answer 1

如果您将整个表加载到内存中，您可能会做错。用户真的需要所有这些数据吗？有多少用户会同时查询数据库？您确定用户将使用整个表格吗？

如果您对所有这些问题的回答是，那么您可以考虑使用分页模式：跳过 + 采取，您可以提高进度使用 skip/take/total 值更新事件。

//META CODE
var dataTable = new List<DataTable>(); //in-memory storage
int rowCount = [...].Rows.Count(); //this is fast check with database
int current;

while (current < rowCount)
{
  var fetchedData = [...].Skip(current).Take(1000).ToList();
  dataTable.AddRange(fetchedData);
  current = dataTable.Rows.Count();

  //fire progress update event
}

Answer 2

首先，您需要确定将查询分成两部分不会使您的查询时间加倍。您可能会发现自己在获得记录计数之前等待了几秒钟，而您还没有解决任何问题。

您可以并行执行这两个查询（数据库喜欢并发并很好地处理它），但是您会给数据库带来额外的负担，这可能会成为未来的可扩展性问题.

至于分块查询，我相信SqlDataReader 将允许您在记录可用时获取记录，而无需先等待整个查询完成。不过，您必须自己将它们添加到 DataTable 中。

Answer 3

如果您查询当前数据集的计数，它将遍历所有行。这几乎和获取它一样慢。您可以尝试通过 sql 语句选择计数。 例如："SELECT COUNT(ID_COLUMN) FROM TABLE WHERE ..."。这是您必须执行的另一个 sql 语句，但比询问数据集的计数要快。
有一个 C# 进度条控件。您只需要设置一个最大值，每次迭代循环时，您都可以调用函数 step()。它将使进度条提前一步；） 不用你做百分比计算。