如何在 Java Web 服务中管理大数据 [关闭]答案

【问题标题】：How to manage large data in java web services [closed]如何在 Java Web 服务中管理大数据 [关闭]
【发布时间】：2014-12-18 03:43:16
【问题描述】：

我的 java web 服务有问题。我如何管理大数据（超过 10 GB）。我必须将这些数据发送给消费者。请给我一些建议。

【问题讨论】：

数据存储在哪里？还是即时生成的？
如何将这些数据存储在一个通用的可下载位置，并将文件链接提供给用户。现在用户有责任适当地下载。例如，使数据可序列化并将其写入某个文件，让客户端下载该文件并对其进行反序列化。

【解决方案1】：

这取决于很多事情：

您的数据很可能会存储在某个地方，我假设您已经对它进行了 map-reduced。您可以使用分页向您的客户提供这些数据。

【讨论】：

【解决方案2】：

-如果真的不需要一次性提供所有数据，我建议创建基于过滤器的 API。

-即使是批量处理这些数据服务，比如在前端分页一次处理 50 条记录，也可以帮助您缩短响应时间。

-您可以在网络服务器上使用 gzip 压缩等压缩技术

【讨论】：