如何以良好的性能将字符串数组写入/读取到 .bin

Question

将字符串数组写入.bin格式如下

out =  open("string_array.bin","w")
a = ["first string","second string","third string"]
write(out,a)
close(out)

但是在读回数组 a 时，事情开始变得棘手。

out =  open("string_array.bin","r")
a = read(out)
close(out)
typeof(a) # returns Array{UInt8,1}

如何将 Array{UInt8,1} 转换回原来的 Array{String,1} 类型的数组？

当字符串数组有 300+ 百万个元素时，它也需要工作，即解决方案必须表现良好。

Answer 1

所以 Bogumil 是对的，它有点 hacky，但如果你热衷于读写二进制文件，那么这里有一个读写 Vector{String} 的实现，它通过将每个 String 转换为 @987654323 来工作@，然后将每个Vector{UInt8} 写入文件，为每个Vector{UInt8} 使用初始Int64 来存储其长度。该文件还以额外的Int64 开头，存储Vector{String} 的长度。然后读取例程使用此信息将其全部拉回并将其转换回Vector{String}：

my_write(fid1::IOStream, x::Vector{UInt8}) = begin ; write(fid1, Int64(length(x))) ; write(fid1, x) ; end
my_write(fid1::IOStream, x::Vector{Vector{UInt8}}) = begin ; write(fid1, Int64(length(x))) ; [ my_write(fid1, y) for y in x ] ; end
my_read(fid1::IOStream, ::Type{Vector{UInt8}})::Vector{UInt8} = begin i = read(fid1, Int64) ; [ read(fid1, UInt8) for a = 1:i ] ; end
my_read(fid1::IOStream, ::Type{Vector{Vector{UInt8}}})::Vector{Vector{UInt8}} = begin i = read(fid1, Int64) ; [ my_read(fid1, Vector{UInt8}) for a = 1:i ] ; end
my_write(myfilepath::String, x::Vector{String}) = open(fid1 -> my_write(fid1, [ Vector{UInt8}(codeunits(y)) for y in x ]), myfilepath, "w")
function my_read(myfilepath::String, ::Type{Vector{String}})::Vector{String}
    x = open(fid1 -> my_read(fid1, Vector{Vector{UInt8}}), myfilepath, "r")
    return [ String(y) for y in x ]
end

我可能包含了比必要更多的类型信息，但它可能会让您更清楚地了解事情。另外，对不起，我有一个用单线做这种事情的坏习惯，但如果需要，你可以很容易地打开它。这是一些测试代码（只需调整文件路径）：

myfilepath = "/home/colin/Temp/test_file.bin"
x = ["abc", "de", "f", "", "ghij"]
my_write(myfilepath, x)
my_read(myfilepath, Vector{String})

注意，只要稍加努力，这段代码就可以变得更通用，这样只要T 是可写的，它就可以适用于几乎任何Vector{Vector{T}}。事实上，如果你真的很聪明，它应该可以推广到任何Vector{Vector{Vector{...{T}}}}，只要你能得到正确的递归。

Answer 2

这里有一些选项：

• serialization，它的局限性在于它是为短期存储而设计的（它要求 Julia 读写文件具有相同的系统映像）。
• JLD2.jl，需要注意的是，在撰写本文时，Julia 1.0 上的软件包存在一些未解决的问题（这些问题应该很快得到解决 - 如果它们影响到您，您可以查看问题 - 主要是处理 missing；给出你写的你不应该被他们影响）
• 最后，您可以使用设计用于处理表格数据的读取器/写入器，例如 CSV.jl 或 Feather.jl，因为您的数据可以被视为单列表