删除熊猫中的索引重复项

Question

在 pandas 中删除重复项时观察到一些看似不一致的行为。

问题设置：我有一个包含三列和 3330 个时间序列观察的数据框，如下所示：

数据描述（） 平均买入卖出 数 3330 3330 3330

检查数据是否包含任何重复项，表明存在重复索引。

data.index.duplicated().any() 真的

数据中有多少重复项

data.loc[data.index.duplicated()].count() 平均 38 买 38 卖 38

也可以目视检查重复项

`数据[data.index.duplicated()]`

困境：显然，数据中有重复项，似乎每列有 38 个重复项。但是，当我使用 DataFrame 的 drop_duplicates() 时，似乎丢弃的数据比预期的要多。

`data.drop_duplicates().count()` 平均 3241 购买 3241 卖 3241 数据类型：int64 `data.count() - data.drop_duplicates().count()` 平均 89 买 89 卖 89

任何关于造成这种差异的原因或我遗漏的细节的想法都将不胜感激。注意：可能有类似的数据条目，但日期不应重复，因此清理数据的合理方法是删除重复的日期。

Answer 1

如果我对您的理解正确，您只想保留索引中存在重复项的第一次出现（行/记录）？

这将完成。

import pandas as pd
df = pd.DataFrame({'IDX':[1,2,2,2,3,4,5,5,6], 
                 'Mean':[1,2,3,4,5,6,7,8,9]}).set_index('IDX')
df
     Mean
IDX      
1       1
2       2
2       3
2       4
3       5
4       6
5       7
5       8
6       9
duplicates = df.index.duplicated()
duplicates
array([False, False,  True,  True, False, False, False,  True, False])
keep = duplicates == False
df.loc[keep,:]
     Mean
IDX      
1       1
2       2
3       5
4       6
5       7
6       9