在 HDFView 2.14 上查看使用 h5py 编写的大型 (12.5GB) HDF5 文件

【问题标题】：Viewing a large (12.5GB) HDF5 file written using h5py on HDFView 2.14在 HDFView 2.14 上查看使用 h5py 编写的大型 (12.5GB) HDF5 文件
【发布时间】：2018-10-01 16:58:25
【问题描述】：

我有一个使用 Python/h5py 创建的非常大的 HDF5 文件。我无法在 HDFView 2.14 上打开文件，当我尝试打开文件时没有任何反应。关于如何打开/查看文件的任何建议？它只包含 5 个数据集，但每个数据集有 7.78 亿行。因此存在问题。

谢谢！

【问题讨论】：

你怎么知道这是尺寸问题？ HDFView 是否适用于来自同一来源的较小文件？错误信息？
刚刚修复它 - 结果我可以通过使用 gzip 压缩来压缩文件来解决问题 :) 无论如何谢谢！！

标签： python out-of-memory hdf5 h5py hdf

【解决方案1】：

您可以编辑 hdfview.bat 并在交换机上添加更多内存

这是 .bat 文件中的一行：启动 "HDFView" "%JAVABIN%\javaw.exe" %JAVAOPTS% -Xmx1024M -Djava.library.path="%INSTALLDIR%\lib;%INSTALLDIR%\lib\ext" -Dhdfview.root="%INSTALLDIR%" -cp "%INSTALLDIR%\lib\fits.jar;%INSTALLDIR%\lib\netcdf.jar;%INSTALLDIR%\lib\jarhdf-3.3.2.jar;%INSTALLDIR%\lib\jarhdf5-3.3.2.jar ;%INSTALLDIR%\lib\slf4j-api-1.7.5.jar;%INSTALLDIR%\lib\extra\slf4j-nop-1.7.5.jar;%INSTALLDIR%\lib\HDFView.jar" hdf.view.HDFView %*

您可以将 -Xmx1024M 编辑为更像：-Xmx4024M 它为 java 机器增加了更多内存

【讨论】：

原来解决方案要简单得多，我所要做的就是使用 GZIP 压缩，一切都解决了 :) 还是谢谢！