我想比较在网络论坛中发布大量问题与大量答案的人。我需要打印出前 10 个提出问题和回答问题的用户。我编写了一个生成列表的脚本。但它耗时太长，占用内存过多，效率低下。
我写的代码是使用 HashMap。用户和帖子的 .xml 文件非常大。实际数据约为 5-6 GB。
我需要知道提高时间、效率和绩效的最佳方法。
【问题讨论】：
标签： java performance parallel-processing bigdata distributed-system
有几种方法：
1) 不时更新：你不显示“实际”价值，你不时计算它（即使每月一次，如果它足以实现你的目标）并存储结果。你只显示结果。
2) 使用冗余结构 ：您将相同的信息存储了两次但不同，因为每个信息都可以帮助您快速找到其他信息。例如，如果您经常想显示论坛中所有帖子的总和，并且不想逐个统计，则可以有一个额外的列，每当添加新帖子时都会更新该列，以存储帖子总数。
请注意，您必须小心，因为它可能导致数据不一致，如果您做错了什么（但只要您将冗余结构仅用于一些花哨的业务，例如显示 TOP 5，它就是没问题）
【讨论】：
您要使用的是重击算法。很酷。这是一种一次性算法；并且可以实时更新或之后完成。
每次用户提出问题或发布答案时，您都会通知数据结构，该数据结构会跟踪前 k 个“重量级人物”。当某个用户退出前 k 名时，它确实变得有点模糊。
这里有一些资源：
【讨论】：
在您的用户表中添加两列：questions_count、answers_count。无需将其全部记入内存，只需浏览每条消息并确定它是问题还是答案，然后更新发布该消息的用户。更新您的论坛软件以在提交消息时进行分析，以便在您完成第一次通过后，论坛将为您更新数据。有了你的两列，就变成了两个简单的查询来获取前十名提问和回答问题的用户。
如果您想了解一下，并跟踪谁在不同时间段内提问和回答（“本周提问的前 10 位是谁？”或“今年谁回答的问题最多？”），那么您将想要创建一个跟踪user_id, message_id, message_type(question|answer), timestamp 的新表。这将允许您通过一个 SQL 调用来回答大多数此类问题。
【讨论】：