使用 Java 映射大于 2GB 的文件答案

【问题标题】：Mapping files bigger than 2GB with Java使用 Java 映射大于 2GB 的文件
【发布时间】：2011-07-02 07:57:20
【问题描述】：

一般可以这么说：你如何在Java中为大于2GB的内存映射文件实现byte[] get(offset, length)方法。

有上下文：

我正在尝试使用随机 i/o 有效读取大于 2GB 的文件。当然这个想法是使用 Java nio 和内存映射 API。

问题在于内存映射的限制为 2GB。一种解决方案是映射多个 2GB 的页面并通过偏移量进行索引。

这里有一个类似的解决方案：

这个解决方案的问题是它被设计为读取字节，而我的 API 应该读取 byte[]（所以我的 API 类似于 read(offset, length)）。

将最终的get() 更改为get(offset, length) 会起作用吗？当我正在阅读的byte[] 位于两页之间时会发生什么？

【问题讨论】：

【解决方案1】：

不，我对Binary search in a sorted (memory-mapped ?) 的回答无法将get() 更改为get(offset, length)，因为内存映射文件数组边界，就像你怀疑的那样。我可以看到两种可能的解决方案：

【讨论】：

会失去哪些性能提升？如果您返回byte[]，则无论如何您都是从mmap()ed 区域复制的。在相同的总字节数上调用 System.arraycopy 两次而不是一次并没有那么糟糕。
@Scott Lamb：我同意当get() 需要从“二分搜索”算法中的两个不同映射中读取时，对于那些可能很少见的边缘条件，性能损失可以忽略不计。我的回答是说你需要围绕它编写代码，因此有两个选项。仅在get() 后面添加没有新代码的偏移量将导致诸如索引越界错误之类的硬错误。