如何合并具有冲突坐标的 xArray 数据集答案

【问题标题】：How to merge xArray datasets with conflicting coordinates如何合并具有冲突坐标的 xArray 数据集
【发布时间】：2016-08-12 10:15:45
【问题描述】：

假设我有两个数据集，每个数据集包含不同的感兴趣变量和不完整（但不冲突）的索引：

In [1]: import xarray as xr, numpy as np
In [2]: ages = xr.Dataset(
          {'ages': (['kid_ids'], np.random.rand((3))*20)}, 
          coords={'kid_names':(['kid_ids'], ['carl','kathy','gail']), 'kid_ids': [10,14,16]})
In [3]: heights = xr.Dataset(
          {'heights': (['kid_ids'], np.random.rand((3))*160)}, 
          coords={'kid_names':(['kid_ids'], ['carl','keith','gail']), 'kid_ids': [10,13,16]})

这会创建两个看起来应该很好合并的数据集：

In [4]: ages
Out[4]: 
<xarray.Dataset>
Dimensions:    (kid_ids: 3)
Coordinates:
  * kid_ids    (kid_ids) int32 10 14 16
    kid_names  (kid_ids) <U5 'carl' 'kathy' 'gail'
Data variables:
    ages       (kid_ids) float64 13.28 1.955 4.327
In [5]: heights
Out[5]: 
<xarray.Dataset>
Dimensions:    (kid_ids: 3)
Coordinates:
  * kid_ids    (kid_ids) int32 10 13 16
    kid_names  (kid_ids) <U5 'carl' 'keith' 'gail'
Data variables:
    heights    (kid_ids) float64 115.0 38.2 31.65

但他们没有 - 尝试 ages.merge(heights) 会导致 ValueError：

ValueError: conflicting value for variable kid_names:
first value: <xarray.Variable (kid_ids: 4)>
array(['carl', nan, 'kathy', 'gail'], dtype=object)
second value: <xarray.Variable (kid_ids: 4)>
array(['carl', 'keith', nan, 'gail'], dtype=object)

删除坐标kid_names 即可解决问题：

In [7]: ages.reset_coords('kid_names', drop=True).merge(
          heights.reset_coords('kid_names', drop=True))
Out[7]:
<xarray.Dataset>
Dimensions:  (kid_ids: 4)
Coordinates:
  * kid_ids  (kid_ids) int64 10 13 14 16
Data variables:
    ages     (kid_ids) float64 0.4473 nan 6.45 6.787
    heights  (kid_ids) float64 78.42 78.43 nan 113.4

似乎坐标的处理方式类似于DataArrays，因为任何不相同的值都会引发错误。但是它们不应该更像基本坐标那样处理，例如扩展到两个索引的超集？还是我应该做其他手术？

我在 python 3.5 上使用 xarray 0.7.2 和 numpy 1.10.4

【问题讨论】：

标签： python python-xarray

【解决方案1】：

这目前在 xarray 中并不容易实现，但应该可以！

事实上，我认为在大多数情况下合并任何不冲突的值应该是安全的（除非用户要求更严格的审查）。

我打开了一个 GitHub 问题来跟踪这个问题：https://github.com/pydata/xarray/issues/835

更新：merge 方法现在默认支持此功能（使用compat='no_conflicts'），因此ages.merge(heights) 应该可以正常工作。

【讨论】：

【解决方案2】：

我遇到了同样的问题。我的 netcdf 文件具有相似的 lat/long 范围和相似的变量/级别，但时间步长冲突（我错误地重新下载了它们！）。我使用 pandas 来检查每个文件中的时间步长是否在之前加载到列表中的其他文件中重复。最后我没有错误地合并它们。

import xarray,os,shutil,numpy,pandasfiles=os.listdir(os.path.join(place_in,variable,str(month),hour,level,extent))

listed=[]
if len(files)!=0:
               add=os.path.join(place_in,variable,str(month),hour,level,extent,files[0])  
               data=xarray.open_dataset(add)
               listed=listed+[data]
               times=pandas.DataFrame(data.time.values,columns=["time"])
               for file in files[1:len(files)]:
                  add=os.path.join(place_in,variable,str(month),hour,level,extent,file)
                  data=xarray.open_dataset(add)
                  times1=pandas.DataFrame(data.time.values,columns=["time"])
                  times1=times1[~(times1["time"].isin(list(times["time"])))]
                  times=times.append(times1).drop_duplicates()
                  listed=listed+[data.sel(time=(numpy.array(times1['time'])))]
               data=xarray.merge(listed)

【讨论】：