在 Julia 中更快地读取 CSV 文件

Question

我注意到使用 CSV.read 加载 CSV 文件非常慢。 作为参考，我附上了一个时间基准的例子：

using CSV, DataFrames
file = download("https://github.com/foursquare/twofishes")
@time CSV.read(file, DataFrame)

Output: 
9.450861 seconds (22.77 M allocations: 960.541 MiB, 5.48% gc time)
297 rows × 2 columns

这是一个随机数据集，与 Julia 相比，此类操作的 Python 替代品编译时间短。既然，julia 比 python 快，为什么这个操作要花这么多时间？另外，有没有更快的方法来减少编译时间？

Answer 1

您正在与运行时一起测量编译。

测量时间的一种正确方法是：

@time CSV.read(file, DataFrame)
@time CSV.read(file, DataFrame)

在第一次运行时，该函数在第二次运行时编译，您可以使用它。

另一种选择是使用BenchmarkTools：

using BenchmarkTools
@btime CSV.read(file, DataFrame)

通常，人们使用 Julia 来处理庞大的数据集，因此单个初始编译时间并不重要。但是，可以将 CSV 和 DataFrame 编译到 Julia 的系统映像中，并且从第一次运行开始就可以快速执行，有关指令请参见此处：Why julia takes long time to import a package?（但通常不需要它更高级）

您还有另一个选择是降低编译器的优化级别（这适用于您的工作量很小且经常重新启动并且您不希望映像构建带来的所有复杂性的情况。在这个笼子里，您可以运行 Julia：

julia --optimize=0 my_code.jl

最后，就像@Oscar Smith 在即将发布的 Julia 1.6 中提到的那样，编译时间会稍微短一些。