搜索策略以有效地从服务或服务器加载数据？

Question

这个问题不是一个语言特定的问题，它是某种与模式相关的问题，但我想在这里用一些我能理解的流行语言标记它。

我对结合搜索数据（尤其是移动环境）有效加载数据的要求不是很有经验。

我之前使用的策略是将所有内容加载到本地内存并从那里搜索（例如在 C# 中使用 LINQ）。

另一种策略是每次执行新搜索时重新加载数据。这样做当然效率不高，而且我们可能需要做一些更复杂的事情来将新加载的数据与现有数据（已经加载到本地内存）同步。

我能想到的最后一个策略是最难实现的，即延迟加载数据和搜索执行。也就是执行搜索的时候，返回结果应该缓存在本地。在从服务/服务器获取新结果之前，搜索应该首先查看本地内存。所以每次搜索的结果都是本地搜索和服务器搜索的组合。此处的目的是减少每次运行搜索时从服务器重新加载的数据量。

这是我能想到的实施这种策略的方法：

• 运行搜索时，首先查看本地内存。完成这一步会给出本地结果。
• 现在，在向服务器端发送搜索请求之前，我们需要以某种方式传递已经放入结果中的内容（本地），以便在服务器端搜索时将它们从结果中排除。因此，搜索方法可能包括一个参数列表，其中包含第一个步骤找到的所有项目 ID。 通过该搜索请求，我们可以排除找到的结果并仅将新项目返回给客户端。
• 最后一步是合并 2 个结果：从本地和服务器获得最终搜索结果，然后在 UI 上显示给用户。

我不确定这是否是正确的方法，但我觉得这里不是很好的是第 2 步。因为我们需要将第 1 步中找到的项目 ID 列表发送到服务器，所以如果我们有成百上千个这样的 ID，在这种情况下将它们发送到服务器可能效率不高。此外，排除如此大量项目的查询也可能效率不高（即使使用直接 SQL 或 LINQ）。在这一点上我仍然感到困惑。

最后，如果您有更好的想法并在某些生产项目中得到重要实施，请与我分享。我不需要任何具体的示例代码，我只需要一些想法或步骤来实现。

Answer 1

评论太长了......

关于第 2 步，你知道你会遇到很多问题：

数据量

随着时间的推移，您可能会积累大量数据，以至于即使设置它们的 id 也比正常的服务器答案大。最后，您可能不仅需要在客户端缓存以前服务器的答案，还需要在服务器上缓存客户端的状态。您正在做的是某种同步，因此请查看rsync 以获得灵感；这是一个古老但智能的 Unix 工具。 git push 也可能会鼓舞人心。

基本上，通过将 ID 组织成树，您可以轻松地在服务器和客户端之间同步信息（关于客户端已经知道的信息）。由于可能需要多个步骤，因此代价可能会增加延迟。

运用知识

很有可能从 SQL 结果中排除已知对象可能比不排除更昂贵，尤其是当您无法轻松确定要排除的对象是否是完整答案的一部分时。不过，您可以通过对数据进行后过滤来节省带宽。

及时更新

如果您的数据发生更改或被删除，您可能会发现您的客户保留了过时的数据。客户订阅相关更改是一种可能性；将（逻辑）时间戳与您的 ID 相关联是另一种方法。

总结

它可能会变得非常复杂，您应该在尝试之前进行测量。您可能会发现问题本身已经够难了，实现这些节省更加困难，而且收益有限。你知道root of all evil，对吧？

Answer 2

我会认为本地和远程是两个不同的数据源来解决这个问题，

1. 触发搜索时，将针对两个数据源（本地 - 内存和服务器）启动搜索

2. 本地搜索最有可能首先产生结果，因此将结果显示给用户。

3. 从服务器返回结果时，可以追加不重复的结果。

4. 可选 - 如果服务器数据已更改并且某些结果已删除/或已更改，请更新/删除本地结果并更新视图。