熊猫：切片多索引与许多索引

Question

我有一个数据框d，其中包含大约100,000,000 行和3 列。它看起来像这样：

import pandas as pd 

In [17]: d = pd.DataFrame({'id': ['a', 'b', 'c', 'd', 'e'], 'val': [1, 2, 3, 4, 5], 'n': [34, 22, 95, 86, 44]}) 

In [18]: d.set_index(['id', 'val'], inplace = True)

我有另一个数据框，其值为id 和val，我想保留在d 中。我想保留大约 600,000 个 id 和 val 组合：

In [20]: keep = pd.DataFrame({'id':['a', 'b'], 'val' : [1, 2]})

我已经通过以下方式进行了尝试：

In [21]: keep.set_index(['id', 'val'], inplace = True)

In [22]: d.loc[d.index.isin(keep.index), :] 
Out [22]:         
                   n
         id val    
          a  1    34
          b  2    22

这可行，但看起来很笨重而且很慢。这里有更好的方法吗？在 Pandas 中对 Multindex 进行切片的最快方法是什么？

Answer 1

使用loc 索引d 使用keep：

# d.loc[pd.MultiIndex.from_arrays([keep['id'], keep['val']]))]
d.reindex(pd.MultiIndex.from_arrays([keep['id'], keep['val']])))

         n
id val    
a  1    34
b  2    22

在哪里，

pd.MultiIndex.from_arrays([keep['id'], keep['val']])

MultiIndex(levels=[['a', 'b'], [1, 2]],
           codes=[[0, 1], [0, 1]],
           names=['id', 'val'])

从 keep 生成一个用于过滤的 MultiIndex。

---

另一种选择是尝试与df.merge 合并：

d.merge(keep, left_index=True, right_on=['id', 'val'])

    n id  val
0  34  a    1
1  22  b    2

d.merge(keep, left_index=True, right_on=['id', 'val']).set_index(['n', 'id'])

       val
n  id     
34 a     1
22 b     2

甚至，

d.join(keep.set_index(['id', 'val']), how='inner')

         n
id val    
a  1    34
b  2    22

Answer 2

loc 获取用于引用MultiIndex 的元组列表

d.loc[[*keep.itertuples(index=False)]]

         n
id val    
a  1    34
b  2    22

---

做同样事情的更令人讨厌的方式。 （实际上不是推荐）

d.loc[[*zip(*map(keep.get, keep))]]

         n
id val    
a  1    34
b  2    22

优点是少了 3 个字符。您只需要牺牲了解正在发生的事情。

Answer 3

使用reindex

d.reindex(pd.MultiIndex.from_frame(keep))
Out[151]: 
         n
id val    
a  1    34
b  2    22