pandas MultiIndex 在 0.15.2 和 0.18.0 之间使用 xs vs loc 得到的索引结构答案

【问题标题】：pandas MultiIndex resulting index structure on using xs vs loc between 0.15.2 & 0.18.0pandas MultiIndex 在 0.15.2 和 0.18.0 之间使用 xs vs loc 得到的索引结构
【发布时间】：2016-04-09 05:13:43
【问题描述】：

在具有 MultiIndex 的 DataFrame 上使用 .xs 和 .loc 对数据子集进行切片结果的索引结构似乎在 v0.15.2 和 0.18.0 之间发生了变化。请参考使用不同版本的 Pandas 在 ipython notebook 中得到的 code-sn-p & output。

import pandas as pd
print 'pandas-version: ', pd.__version__
import numpy as np
l1 = ['A', 'B', 'C', 'D']
l2 = sorted(['foo','bar','baz'])
nrows = len(l1) * len(l2)
s = pd.DataFrame(np.random.random( nrows * 2).reshape(nrows, 2),
                 index=pd.MultiIndex.from_product([l1, l2],
                                                 names=['one','two']))

# print s.index
l_all = slice(None)
# get all records matching 'foo' in level=1 using .loc
sub_loc = s.loc[(l_all, 'foo'),:]
print '.loc[(slice(None), "foo")] result:\n', sub_loc, 
print '\n.loc result-index:\n', sub_loc.index

# get all records matching 'foo' in level=1 using .xs()
sub_xs = s.xs('foo', level=1)
print '\n.xs(\'foo\', level=1) result:\n', sub_xs, 
print '\n .xs result index:\n', sub_xs.index

0.15.2 输出

#######################
pandas-version:  0.15.2
.loc[(slice(None), "foo")] result:
                0         1
one two                    
A   foo  0.464551  0.372409
B   foo  0.782062  0.268917
C   foo  0.779423  0.787554
D   foo  0.481901  0.232887 
.loc result-index:
one  two
A    foo
B    foo
C    foo
D    foo

.xs('foo', level=1) result:
            0         1
one                    
A    0.464551  0.372409
B    0.782062  0.268917
C    0.779423  0.787554
D    0.481901  0.232887 
 .xs result index:
Index([u'A', u'B', u'C', u'D'], dtype='object')

0.18.0 输出

##########################
pandas-version:  0.18.0
.loc[(slice(None), "foo")] result:
                0         1
one two                    
A   foo  0.723213  0.532838
B   foo  0.736941  0.401252
C   foo  0.217131  0.044254
D   foo  0.712824  0.411026 
.loc result-index:
MultiIndex(levels=[[u'A', u'B', u'C', u'D'], [u'bar', u'baz', u'foo']],
           labels=[[0, 1, 2, 3], [2, 2, 2, 2]],
           names=[u'one', u'two'])

.xs('foo', level=1) result:
            0         1
one                    
A    0.723213  0.532838
B    0.736941  0.401252
C    0.217131  0.044254
D    0.712824  0.411026 
 .xs result index:
Index([u'A', u'B', u'C', u'D'], dtype='object', name=u'one')

调用sub_loc.index 似乎返回了与原始DataFrame 对象相同的MultiIndex 结构（与v0.15.2 不一致），但sub_xs.index 似乎与早期版本一致。

注意：我正在使用 [Python 2.7.11 |Anaconda 1.8.0（64 位）| （默认，2016 年 2 月 16 日，09:58:36）[MSC v.1500 64 位 (AMD64)]]

【问题讨论】：

真正的不一致是在访问sub_loc.index 时，甚至打印print sub_loc 似乎表现一致

标签： pandas multi-index

【解决方案1】：

对不起，忘记我的其他答案，我提交的错误完全不相关。

正确答案是：“索引结构”在两个版本之间没有改变。唯一改变的是索引在打印时表示的方式。

在这两种情况下，您都有一个具有完全相同级别和值的 MultiIndex。您可能对在 0.18.0 中似乎包含“baz”和“bar”这一事实感到困惑。但是MultiIndex 可以具有它实际上不使用的级别值，因为在这个示例中，它在创建时包含它们，并且在删除使用它们的行时不会消除未使用的级别值。 0.15.2 中的sub_loc.index 在levels 中也有“baz”和“bar”，只是打印时它的表示方式没有显示这一点。

顺便说一句，被过滤的 MultiIndex 是否仍然包含这样的“过时”标签是您通常不应该关心的实现细节。换句话说，

MultiIndex(levels=[[u'A', u'B', u'C', u'D'], [u'bar', u'baz', u'foo']],
       labels=[[0, 1, 2, 3], [2, 2, 2, 2]],
       names=[u'one', u'two'])

和

MultiIndex(levels=[[u'A', u'B', u'C', u'D'], [u'foo']],
       labels=[[0, 1, 2, 3], [0, 0, 0, 0]],
       names=[u'one', u'two'])

出于实际目的完全相同索引，在“在相同位置具有相同值”的意义上，因此在用于Series、DataFrame之间的赋值时表现相同s...

（您现在可能已经清楚，是MultiIndex 的labels 组件决定了实际使用的级别值以及位置。）

【讨论】：

谢谢@PietroBattiston，我忽略了labels 中的变化，因为只看levels 值太久了。

【解决方案2】：

我认为这确实是一个错误，它也出现在更简单的设置中：

https://github.com/pydata/pandas/issues/12827

编辑：好吧，可能不是，因为我在错误中创建的示例在 0.14.1 中的行为相同。

【讨论】：