Java - 将数组存储到内存或从内存上传到磁盘答案

【问题标题】：Java - Store and Upload Arrays to/from Memory to DiskJava - 将数组存储到内存或从内存上传到磁盘
【发布时间】：2012-06-24 19:07:07
【问题描述】：

我有一个长度为 2.2 亿（固定）的 int 和 float 数组。现在，我想将这些数组存储/上传到内存和磁盘。目前，我正在使用 Java NIO 的 FileChannel 和 MappedByteBuffer 来解决这个问题。它工作正常，但需要大约 5 秒（挂钟时间）将阵列存储/上传到/从内存到磁盘。实际上，我想要更快的一个。任何人都可以帮助我，是否有任何内置的 java 库/数据库/任何其他方法可以更快地上传/存储数组？我特别关心从磁盘上传到内存。我想让它更快。所以，如果存储时间会增加这样做我没有问题。提前致谢。

我使用的代码如下（如果需要）：

int savenum = 220000000 ;

public void save() {
 try {
    long l = 0 ;
FileChannel channel = new RandomAccessFile(str1, "rw").getChannel();
MappedByteBuffer mbb = channel.map(FileChannel.MapMode.READ_WRITE, 0, savenum * 8);
mbb.order(ByteOrder.nativeOrder());

for(int i = 0 ; i < savenum ; i++){
l = a[i] ;
 mbb.putLong(l);
}
channel.close();

FileChannel channel1 = new RandomAccessFile(str2, "rw").getChannel();
MappedByteBuffer mbb1 = channel1.map(FileChannel.MapMode.READ_WRITE, 0, savenum * 4);
mbb1.order(ByteOrder.nativeOrder());

for(int i = 0 ; i < savenum ; i++){
 int ll = b[i] ;
 mbb1.putInt(ll);
 }
 channel1.close();
 }
  catch (Exception e){
    System.out.println("IOException : " + e);
  }
 }

 public void load(){
 try{
 FileChannel channel2 = new RandomAccessFile(str1, "r").getChannel();
  MappedByteBuffer mbb2 = channel2.map(FileChannel.MapMode.READ_ONLY, 0, channel2.size());
 mbb2.order(ByteOrder.nativeOrder());
  assert mbb2.remaining() == savenum * 8;
 for (int i = 0; i < savenum; i++) {
 long l = mbb2.getLong();
 a[i] = l ;
 }
 channel2.close();

  FileChannel channel3 = new RandomAccessFile(str2, "r").getChannel();
   MappedByteBuffer mbb3 = channel3.map(FileChannel.MapMode.READ_ONLY, 0, channel3.size());
   mbb3.order(ByteOrder.nativeOrder());
   assert mbb3.remaining() == savenum * 4;
    for (int i = 0; i < savenum; i++) {
    int l1 = mbb3.getInt();
    b[i] = l1 ;
    }
    channel3.close();
    }

    catch(Exception e){
    System.out.println(e) ;
      }
    }

【问题讨论】：

对于 4.4 亿个项目，5 秒听起来不错。
@HunterMcMillen，我想要更快:)。
文件在磁盘上有多大？我倾向于同意亨特的观点——时间对我来说听起来不错。显然您可以升级您的计算机（例如使用 RAID）以提高磁盘性能？不确定 SSD 是否有助于写入？
话虽如此，如果您追求读取性能，SSD 可以提供帮助
@davidfrancis，谢谢。实际上，我在无法升级的服务器机器上运行它。我只能安装一些软件或运行我的代码。

标签： java database

【解决方案1】：

如果您想加快操作速度，您可以更改您的代码，这样您就根本不用进行复制了。即使用 ByteBuffer、IntBuffer 或 LongBuffer。这样做的好处是将副本保存到您已经离开堆的堆中，但您也只能在使用它时加载。即您的处理可以与加载同时进行。

使用这种方法应该可以将您的初始“加载”时间减少到 10 毫秒左右，并且没有“保存”时间，因为它已经可供操作系统使用。

【讨论】：