在不使用太多内存的情况下加速搜索缓存

Question

我必须访问一个包含 380,000 个条目的数据库。我没有对数据库的写访问权限，我只能读取它。我使用地图创建了一个搜索功能，可以按名字搜索用户。这是我的过程： 1 - 从数据库加载所有内容 2 - 将所有内容存储到Map<Charactere, ArrayList<User>>，根据用户名字的第一个字母使用字母来存储用户。

<A> {Alba, jessica, Alliah jane, etc ...}
<B> {Birsmben bani, etc ...}

当有人搜索用户时，我会使用输入的名字的第一个字母并使用map.get(firstletter)，然后遍历 ArrayList 以查找所有用户。

地图 我猜想在内存中占用很大的空间（380,000 个用户对象）。我不得不增加堆大小 我想让它更快。使用名字作为地图的键，以使其更快（有很多人有相同的名字）。

我有两个解决方案：

1 - Still use a map with firstname as key (increasing the heap size again?)
2 - Use files on the disk instead of Map (Alba.dat will contain all Alba for example) and open the right file for each search. No need to incease the heap size, but are there any side effects?

哪个更好？ （优点和缺点）

Update with more info

这是一个客户数据库，其中包含通过电话联系我们的客户服务的客户。接听电话的人必须使用客户姓名（通常是名字，然后是姓氏）进行搜索。使用 Db 搜索速度太慢。我实施的解决方案已经快了很多（1/2 秒 vs 26 秒使用 db），但我想改进它。

Answer 1

恕我直言，我认为您不必将所有条目缓存在内存中，但其中一部分可能：

• 也许只使用环形缓冲区，或者
• 更复杂，更有意义的是，实现一个 LFU 缓存，它只保留 N 个最常访问的项目。有关如何实现此类缓存的提示，请参阅 this question。

Answer 2

您的方法存在几个问题：

• 这意味着用户数量不会改变，一个好的应用程序设计可以在不改变软件的情况下与任意数量的用户一起工作
• 这意味着当前问题是唯一的问题。如果下一个需要实现的需求是“按呼叫者 ID 搜索”或“按邮政编码搜索”，会发生什么？
• 这是在重新发明轮子，您目前正在从头开始编写数据库、索引或信息检索解决方案（无论您想如何命名）

正确的做法是将用户数据导出到提供适当搜索功能的数据库引擎中。如果您有修改时间戳，或者如果您可以拦截更新并将其重新应用到您的搜索索引，则希望可以加快导出/提取速度。

您用于搜索的内容并不重要，现代系统上的简单数据库就足够快了。大多数还提供索引功能以加快搜索速度。如果您想要一些可以嵌入到您的应用程序中并且专门用于搜索并解决上述问题的东西，我建议您使用 Lucene。