使用 RavenDB 检索超过 128 个文档的正确方法

Question

我知道这个问题的变体已经被问过（甚至是我自己），但我仍然不明白这件事...

据我了解，这样做可以检索比默认设置 128 更多的文档：

session.Advanced.MaxNumberOfRequestsPerSession = int.MaxValue;

我了解到，WHERE 子句应该是 ExpressionTree 而不是 Func，因此它被视为 Queryable 而不是 Enumerable。所以我认为这应该可行：

public static List<T> GetObjectList<T>(Expression<Func<T, bool>> whereClause)
{
    using (IDocumentSession session = GetRavenSession())
    {
        return session.Query<T>().Where(whereClause).ToList();                
    }
}

但是，这只返回 128 个文档。为什么？

注意，这里是调用上述方法的代码：

RavenDataAccessComponent.GetObjectList<Ccm>(x => x.TimeStamp > lastReadTime);

如果我添加 Take(n)，那么我可以得到尽可能多的文档。例如，这将返回 200 个文档：

return session.Query<T>().Where(whereClause).Take(200).ToList();

基于所有这些，检索数千个文档的适当方法似乎是设置 MaxNumberOfRequestsPerSession 并在查询中使用 Take()。那正确吗？如果没有，应该如何完成？

对于我的应用程序，我需要检索数千个文档（其中的数据非常少）。我们将这些文档保存在内存中，并用作图表的数据源。

** 编辑 **

我尝试在我的 Take() 中使用 int.MaxValue：

return session.Query<T>().Where(whereClause).Take(int.MaxValue).ToList();

然后返回 1024。啊。如何获得超过 1024？

** EDIT 2 - 显示数据的示例文档 **

{
  "Header_ID": 3525880,
  "Sub_ID": "120403261139",
  "TimeStamp": "2012-04-05T15:14:13.9870000",
  "Equipment_ID": "PBG11A-CCM",
  "AverageAbsorber1": "284.451",
  "AverageAbsorber2": "108.442",
  "AverageAbsorber3": "886.523",
  "AverageAbsorber4": "176.773"
}

Answer 1

值得注意的是，从 2.5 版开始，RavenDB 有一个“无限结果 API”来允许流式传输。文档中的示例显示了如何使用它：

var query = session.Query<User>("Users/ByActive").Where(x => x.Active);
using (var enumerator = session.Advanced.Stream(query))
{
    while (enumerator.MoveNext())
    {
        User activeUser = enumerator.Current.Document;
    }
}

支持标准 RavenDB 查询、Lucence 查询，还支持异步。

可以在here 找到文档。可以在 here 找到 Ayende 的介绍性博客文章。

Answer 2

Take(n) 函数默认最多只能提供 1024 个。但是，您可以在 Raven.Server.exe.config 中更改此默认设置：

<add key="Raven/MaxPageSize" value="5000"/>

欲了解更多信息，请参阅：http://ravendb.net/docs/intro/safe-by-default

Answer 3

默认情况下，Take(n) 函数最多只能为您提供 1024。但是，您可以将它与 Skip(n) 配对使用以获取所有内容

        var points = new List<T>();
        var nextGroupOfPoints = new List<T>();
        const int ElementTakeCount = 1024;
        int i = 0;
        int skipResults = 0;

        do
        {
            nextGroupOfPoints = session.Query<T>().Statistics(out stats).Where(whereClause).Skip(i * ElementTakeCount + skipResults).Take(ElementTakeCount).ToList();
            i++;
            skipResults += stats.SkippedResults;

            points = points.Concat(nextGroupOfPoints).ToList();
        }
        while (nextGroupOfPoints.Count == ElementTakeCount);

        return points;

RavenDB Paging

Answer 4

每个会话的请求数是一个单独的概念，然后是每次调用检索到的文档数。会话是短暂的，预计很少有呼叫通过它们发出。

如果您从商店中获得超过 10 份（甚至少于默认 128 份）供人类消费，则说明有问题，或者您的问题需要不同的思维方式，然后从数据存储中加载大量文档。

RavenDB 索引非常复杂。关于索引here 和构面here 的好文章。

如果您需要执行数据聚合，请创建生成聚合数据的 map/reduce 索引，例如：

索引：

    from post in docs.Posts
    select new { post.Author, Count = 1 }

    from result in results
    group result by result.Author into g
    select new
    {
       Author = g.Key,
       Count = g.Sum(x=>x.Count)
    }

查询：

session.Query<AuthorPostStats>("Posts/ByUser/Count")(x=>x.Author)();

Answer 5

您还可以通过Stream 方法使用预定义索引。您可以在索引字段上使用 Where 子句。

var query = session.Query<User, MyUserIndex>();
var query = session.Query<User, MyUserIndex>().Where(x => !x.IsDeleted);

using (var enumerator = session.Advanced.Stream<User>(query))
{
    while (enumerator.MoveNext())
    {
        var user = enumerator.Current.Document;
        // do something
    }
}

示例索引：

public class MyUserIndex: AbstractIndexCreationTask<User>
{
    public MyUserIndex()
    {
        this.Map = users =>
            from u in users
            select new
            {
                u.IsDeleted,
                u.Username,
            };
    }
}

文档：What are indexes? Session : Querying : How to stream query results?

---

重要提示：Stream 方法不会跟踪对象。如果你改变了通过这个方法获得的对象，SaveChanges() 将不会察觉到任何改变。

---

其他说明：如果不指定要使用的索引，可能会出现以下异常。

InvalidOperationException：StreamQuery 不支持查询动态索引。它被设计用于大型数据集，并且不太可能在 15 秒的索引后返回所有数据集，就像 Query() 一样。