删除具有重复索引的 pandas 行答案

【问题标题】：Remove pandas rows with duplicate indices删除具有重复索引的 pandas 行
【发布时间】：2012-10-13 16:46:44
【问题描述】：

如何删除具有重复索引值的行？

在下面的天气 DataFrame 中，有时科学家会返回并更正观察结果 - 不是通过编辑错误的行，而是通过在文件末尾附加重复的行。

我正在从网络上读取一些自动天气数据（观测每 5 分钟发生一次，并为每个气象站编译成每月文件。）解析文件后，DataFrame 如下所示：

                      Sta  Precip1hr  Precip5min  Temp  DewPnt  WindSpd  WindDir  AtmPress
Date                                                                                      
2001-01-01 00:00:00  KPDX          0           0     4       3        0        0     30.31
2001-01-01 00:05:00  KPDX          0           0     4       3        0        0     30.30
2001-01-01 00:10:00  KPDX          0           0     4       3        4       80     30.30
2001-01-01 00:15:00  KPDX          0           0     3       2        5       90     30.30
2001-01-01 00:20:00  KPDX          0           0     3       2       10      110     30.28

重复案例示例：

import pandas 
import datetime

startdate = datetime.datetime(2001, 1, 1, 0, 0)
enddate = datetime.datetime(2001, 1, 1, 5, 0)
index = pandas.DatetimeIndex(start=startdate, end=enddate, freq='H')
data1 = {'A' : range(6), 'B' : range(6)}
data2 = {'A' : [20, -30, 40], 'B' : [-50, 60, -70]}
df1 = pandas.DataFrame(data=data1, index=index)
df2 = pandas.DataFrame(data=data2, index=index[:3])
df3 = df2.append(df1)

df3
                       A   B
2001-01-01 00:00:00   20 -50
2001-01-01 01:00:00  -30  60
2001-01-01 02:00:00   40 -70
2001-01-01 03:00:00    3   3
2001-01-01 04:00:00    4   4
2001-01-01 05:00:00    5   5
2001-01-01 00:00:00    0   0
2001-01-01 01:00:00    1   1
2001-01-01 02:00:00    2   2

所以我需要df3 最终成为：

                       A   B
2001-01-01 00:00:00    0   0
2001-01-01 01:00:00    1   1
2001-01-01 02:00:00    2   2
2001-01-01 03:00:00    3   3
2001-01-01 04:00:00    4   4
2001-01-01 05:00:00    5   5

我认为添加一列行号 (df3['rownum'] = range(df3.shape[0])) 将帮助我为DatetimeIndex 的任何值选择最底部的行，但我一直坚持找出group_by 或pivot （或???）声明来实现这一点。

【问题讨论】：

另一种获取重复数据的方法是在夜间将时钟设置为夏令时的每小时数据：凌晨 1 点、2 点、3 点、2 点、3 点、4 点……
当您说 “删除重复项” 时，您的上下文隐含地是“保留第一个”。即drop_duplicates(keep='first')。（情况并非总是如此，有时很难从其他字段中找出应该保留哪一行，或者合并多个行，从各个行填充 NA）。

标签： python pandas dataframe duplicates

【解决方案1】：

我建议在 Pandas 索引本身上使用 duplicated 方法：

df3 = df3[~df3.index.duplicated(keep='first')]

虽然所有其他方法都有效，但.drop_duplicates 是迄今为止提供的示例中性能最差的。此外，虽然 groupby method 的性能稍差一些，但我发现复制的方法更具可读性。

使用提供的样本数据：

>>> %timeit df3.reset_index().drop_duplicates(subset='index', keep='first').set_index('index')
1000 loops, best of 3: 1.54 ms per loop

>>> %timeit df3.groupby(df3.index).first()
1000 loops, best of 3: 580 µs per loop

>>> %timeit df3[~df3.index.duplicated(keep='first')]
1000 loops, best of 3: 307 µs per loop

请注意，您可以通过将 keep 参数更改为 'last' 来保留最后一个元素。

还应注意，此方法也适用于MultiIndex（使用Paul's example 中指定的df1）：

>>> %timeit df1.groupby(level=df1.index.names).last()
1000 loops, best of 3: 771 µs per loop

>>> %timeit df1[~df1.index.duplicated(keep='last')]
1000 loops, best of 3: 365 µs per loop

【讨论】：

loc 可能不是必需的。只需执行df3 = df3[~df3.index.duplicated(keep='first')]，它将删除除第一次出现之外的所有具有重复索引的行。
如果有人不介意回答， ~ 在 df3 = df3.loc[~df3.index.duplicated(keep='first')] 中做什么？
@jsl5703 它反转掩码。所以它把一切都是真假，反之亦然。在这种情况下，这意味着我们将根据方法选择不重复的那些。
这是什么巫术，在 DataFrame 上使用按位 (~) 操作，它甚至可以工作。点赞并发表评论，因为点赞似乎还不够。为 %timeit 添加了奖励。
对于那些喜欢“链接”的人：df3.query("~index.duplicated(keep='first')")

【解决方案2】：

这会将索引添加为 DataFrame 列，删除重复的列，然后删除新列：

df = (df.reset_index()
        .drop_duplicates(subset='index', keep='last')
        .set_index('index').sort_index())

请注意，上面最后使用.sort_index()是根据需要，是可选的。

【讨论】：

另一个变化是：df.reset_index().drop_duplicates(cols='index',take_last=True).set_index('index')
虽然此方法确实有效，但它也会创建 DataFrame 的两个临时副本，并且性能明显低于建议使用重复索引或 groupby 方法作为替代答案。
如果您的索引是 MultiIndex，reset_index() 添加列 level_0、level_1 等。如果您的索引有名称，则该名称将用于代替“索引”标签。这使得这不仅仅是一个适用于任何 DataFrame 的单行程序。 index_label = getattr(df.index, 'names', getattr(df.index, 'name', 'index')) 然后 cols=index_label 然后 set_index(index_labels) 甚至这也不是万无一失的（不适用于未命名的多索引）。
将索引移动到一列，清除重复项和重置索引很棒，这正是我所需要的！
给定idx = df.index.name or 'index'，也可以使用df2 = df.reset_index(); df2.drop_duplicates(idx, inplace=True); df2.set_index(idx, inplace=True) 来避免中间副本（由于inplace=True）

【解决方案3】：

哦，天哪。其实就是这么简单！

grouped = df3.groupby(level=0)
df4 = grouped.last()
df4
                      A   B  rownum

2001-01-01 00:00:00   0   0       6
2001-01-01 01:00:00   1   1       7
2001-01-01 02:00:00   2   2       8
2001-01-01 03:00:00   3   3       3
2001-01-01 04:00:00   4   4       4
2001-01-01 05:00:00   5   5       5

跟进编辑 2013-10-29 在我有一个相当复杂的MultiIndex 的情况下，我想我更喜欢groupby 方法。这是后代的简单示例：

import numpy as np
import pandas

# fake index
idx = pandas.MultiIndex.from_tuples([('a', letter) for letter in list('abcde')])

# random data + naming the index levels
df1 = pandas.DataFrame(np.random.normal(size=(5,2)), index=idx, columns=['colA', 'colB'])
df1.index.names = ['iA', 'iB']

# artificially append some duplicate data
df1 = df1.append(df1.select(lambda idx: idx[1] in ['c', 'e']))
df1
#           colA      colB
#iA iB                    
#a  a  -1.297535  0.691787
#   b  -1.688411  0.404430
#   c   0.275806 -0.078871
#   d  -0.509815 -0.220326
#   e  -0.066680  0.607233
#   c   0.275806 -0.078871  # <--- dup 1
#   e  -0.066680  0.607233  # <--- dup 2

这是重要的部分

# group the data, using df1.index.names tells pandas to look at the entire index
groups = df1.groupby(level=df1.index.names)  
groups.last() # or .first()
#           colA      colB
#iA iB                    
#a  a  -1.297535  0.691787
#   b  -1.688411  0.404430
#   c   0.275806 -0.078871
#   d  -0.509815 -0.220326
#   e  -0.066680  0.607233

【讨论】：

如果他们有名字，否则（如果一个名字是 None）假设level=[0,1] 将在有 2 个级别 df1.groupby(level=[0,1]).last() 时工作。这应该是 Pandas 的一部分，作为对 drop_duplicates 的补充
@dashesy 是的。使用df.index.names 只是按索引的所有级别进行分组的一种简单方法。
很好的解决方案，谢谢！我还要补充一点，这在 xarray 中也适用于处理重复的 DateTime 索引以及使 ds.resample 和 ds.groupby 操作失败
对我之前的评论的修正：只要您将grouped = df3.groupby(level=0) 更改为grouped = df3.groupby(dim='time') 或包含重复项的任何维度，它就可以在xarray 中使用

【解决方案4】：

删除重复项（保留优先）

idx = np.unique( df.index.values, return_index = True )[1]
df = df.iloc[idx]

删除重复项（保留最后）

df = df[::-1]
df = df.iloc[ np.unique( df.index.values, return_index = True )[1] ]

测试：使用 OP 的数据进行 10k 循环

numpy method - 3.03 seconds
df.loc[~df.index.duplicated(keep='first')] - 4.43 seconds
df.groupby(df.index).first() - 21 seconds
reset_index() method - 29 seconds

【讨论】：

【解决方案5】：

不幸的是，我认为 Pandas 不允许人们从索引中删除重复数据。我建议如下：

df3 = df3.reset_index() # makes date column part of your data
df3.columns = ['timestamp','A','B','rownum'] # set names
df3 = df3.drop_duplicates('timestamp',take_last=True).set_index('timestamp') #done!

【讨论】：

【解决方案6】：

如果像我这样的人喜欢使用 pandas 点表示法（如管道）的可链接数据操作，那么以下内容可能有用：

df3 = df3.query('~index.duplicated()')

这可以实现这样的链接语句：

df3.assign(C=2).query('~index.duplicated()').mean()

【讨论】：

我尝试了这个，但无法让它工作。我收到这样的错误：TypeError: 'Series' objects are mutable, thus they cannot be hashed.. 这真的对你有用吗？
它对我有用，使用 Pandas 1.2.2。我不得不更改索引的结构，因为.DateTimeIndex 不再支持start 和end 参数，但我改用.date_range。

【解决方案7】：

我遇到过同样的错误，在深入研究每个 df 之后，结果发现其中有 2 个具有相同名称的列，你提到你删除了一些列，这可能是一个原因。

【讨论】：