保存数组，HDF5，Julia

【问题标题】：Save array of arrays, HDF5, Julia保存数组，HDF5，Julia
【发布时间】：2019-11-23 03:19:18
【问题描述】：

交叉发布here，但是如何使用 HDF5 在 Julia 中保存数组？

在我的特定情况下，我有一个包含 10,000 个不同长度的数组的数组。我希望 10,000 个数组成为“组”的一部分，但是为每个数组创建新的数据集/组会使读取文件非常慢，所以我正在寻找替代方案。

【问题讨论】：

类似于将数据存储在一个简单的二进制文件中，您可以将数据线性化并单独存储（重构）的大小/长度信息。

【解决方案1】：

您可以将数组数组展平为一个数组，其中一列包含原始数据，另一列表示该数据最初来自第 i 个数组。

using HDF5
# Define your array of arrays.
arr = [[1,2],[3,4,5]]

# Open your hdf5 file
h5open("data.hdf5", "w") do f
    # Create a dataset with the length of all your arrays combined.
    N = sum(length.(arr))
    d_create(f, "X", Int, ((2,N),(2,-1)), "chunk", (1,1000))

    n = 1
    for i in 1:length(arr)
        m = length(arr[i])
        f["X"][1, n:n+m-1] = fill(i, m)
        f["X"][2, n:n+m-1] = arr[i]
        n+=m
    end
    print(f["X"][:,:])
end

然后数组存储如下：

> [1 1 2 2 2; 1 2 3 4 5]

【讨论】：