Java 处理数十亿字节答案

【问题标题】：Java handling billions bytesJava 处理数十亿字节
【发布时间】：2011-11-02 17:32:00
【问题描述】：

我正在Java中创建一个压缩算法；要使用我的算法，我需要大量有关目标文件结构的信息。

收集数据后，我需要重新读取文件。

在重新读取文件时，我通过将文件数据'转换' 使其成为一个很好的压缩目标，使其成为一种相当特殊的格式。然后我压缩它。

问题现在是：

有什么方法可以'重置' FileInputStream 以移动到文件的开头，以及如何存储大量'转换'数据高效而不写入磁盘？

【问题讨论】：

【解决方案1】：

您可以使用一个或多个 RandomAccessFiles。您可以将它们内存映射到不消耗堆（实际上它们使用大约 128 个字节）或直接内存但可以随机访问的 ByteBuffer()。

您的临时数据可以存储在直接 ByteBuffer(s) 或更多内存映射文件中。由于您可以随机访问原始数据，因此您可能不需要在内存中复制您想象的那么多数据。

这样，您只需几 KB 的堆就可以访问整个数据。

【讨论】：

【解决方案2】：

有reset 方法，但您需要将FileInputStream 包装在BufferedInputStream 中。

【讨论】：

【解决方案3】：

您可以使用 RandomAccessFile，或者 java.nio ByteBuffer 是您正在寻找的。（我不知道。）

资源可能被管道/流保存：立即写入压缩流。

回答您关于重置的问题：不可能；基类 InputStream 提供了标记和重置标记，但 FileInputStream 已针对多个操作系统进行了优化，并且只进行顺序输入。关闭和打开是最好的。

【讨论】：