Python xarray.concat 然后 xarray.to_netcdf 生成巨大的新文件大小答案

【问题标题】：Python xarray.concat then xarray.to_netcdf generates huge new file sizePython xarray.concat 然后 xarray.to_netcdf 生成巨大的新文件大小
【发布时间】：2016-09-16 09:15:48
【问题描述】：

所以我有 3 个 netcdf4 文件（每个大约 90 MB），我想使用包 xarray 连接它们。每个文件都有一个变量 (dis)，以 0.5 度分辨率（纬度、经度）表示 365 天（时间）。我的目标是连接三个文件，这样我们就有 1095 天（3 年）的时间序列。

每个文件（2007 年、2008 年、2009 年）都有： 1个变量：dis 3个坐标：时间，纬度，经度......这样

<xarray.Dataset>
Dimensions:  (lat: 360, lon: 720, time: 365)
Coordinates:
  * lon      (lon) float32 -179.75 -179.25 -178.75 -178.25 -177.75 -177.25    ...
  * lat      (lat) float32 89.75 89.25 88.75 88.25 87.75 87.25 86.75 86.25 ...
  * time     (time) datetime64[ns] 2007-01-01 2007-01-02 2007-01-03 ...
Data variables:
    dis      (time, lat, lon) float64 nan nan nan nan nan nan nan nan nan ...

我将它们导入并使用 concat 模块进行连接，我认为是成功的。在这种情况下，模块从 filestrF 中读出 3 个 netcdf 文件名

flist1 = [1,2,3]
ds_new = xr.concat([xr.open_dataset(filestrF[0,1,1,f]) for f in flist1],dim='time')

新数据集的新细节现在显示为：

Dimensions:  (lat: 360, lon: 720, time: 1095)

对我来说似乎很好。但是，当我将此数据集写回 netcdf 时，文件大小现在已经爆炸式增长，1 年的数据似乎相当于 700 MB。

ds_new.to_netcdf('saved_on_disk1.nc')

对于 2 个串联文件，~1.5 GB
对于 3 ,, ,, 2.2 GB
对于 4 ,, ,, 2.9 GB

我预计 3 x 90 MB = 270 MB - 因为我们在一维（时间）中缩放 (3x)。变量、dis 和其他维度 lat 和 lon 的大小保持不变。

对于超大尺寸的高档有什么想法吗？我已经测试了在没有连接的情况下读入和写回文件，并且在没有增加大小的情况下成功地做到了这一点。

【问题讨论】：

标签： python concatenation python-xarray

【解决方案1】：

您开始使用的 netCDF 文件已被压缩，可能使用了 netCDF4 的分块压缩功能。

当您读取单个数据集并将其写回磁盘时，xarray 会使用相同的压缩设置将该数据写回。但是当您合并多个文件时，压缩设置会被重置。造成这种情况的部分原因是不同的文件可能以不同的方式在磁盘上被压缩，因此如何处理组合结果并不明显。

要使用压缩保存新的 netCDF 文件，请使用 xarray 文档中的 encoding 参数 as described：

ds_new.to_netcdf('saved_on_disk1.nc', encoding={'dis': {'zlib': True}})

您可能还希望根据预期的数据访问模式手动指定 chunksizes 参数。

如果您对这些文件最初是如何压缩的感到好奇，您可以从encoding 属性中提取该信息，例如xr.open_dataset(filestrF[0,1,1,1]).dis.encoding。

【讨论】：

非常感谢 - 这是正确的。我错过了文档中的那一点，我不得不说它非常好。

【解决方案2】：

假设time 是记录维度，尝试使用NCO's ncrcat 快速连接三个应该保持压缩的文件。

ncrcat file1.nc file2.nc file3.nc -O concat.nc

【讨论】：