标记熊猫时间序列中的重复条目

Question

我有一个采用这种形式的数据框（但有几百万行）：

import pandas as pd     
dict = {'id':["A", "A", "A", "B", "B", "B", "C", "C", "C", "D", "D", "D"], 
    'year': ["2000", "2001", "2002", "2000", "2001", "2003", "1999", "2000", "2001", "2000", "2000", "2001"],
    'vacation':["France", "Morocco", "Morocco", "Germany", "Germany", "Germany", "Japan", "Australia", "Japan", "Canada", "Mexico", "China"],
    'new':[1, 1, 0, 1, 0, 0, 1, 1, 1, 1, 1, 1]} 
df = pd.DataFrame(dict)

A   2000    France
A   2001    Morocco
A   2002    Morocco
B   2000    Germany
B   2001    Germany
B   2003    Germany
C   1999    Japan
C   2000    Australia
C   2001    Japan
D   2000    Canada       
D   2000    Mexico       
D   2001    China        

对于每一年的每个人，都会给出度假目的地；一年中可以有多个度假目的地。 当参与者去一个他们前一年没有去过的目的地（即目的地是新的）去度假时，我想标记这些行。在上述情况下，输出将是：

id  year    vacation    new
A   2000    France       1
A   2001    Morocco      1
A   2002    Morocco      0
B   2001    Germany      1
B   2002    Germany      0
B   2003    Germany      0
C   1999    Japan        1
C   1999    Australia    1
C   2000    Japan        1
D   2000    Canada       1
D   2000    Mexico       1
D   2001    China        1

对于 A、B、C 和 D，我们数据框中的第一个度假目的地被标记为新的。当 A 连续两年去摩洛哥时，没有标记第二次出现，因为 A 前一年去了那里。当 B 连续 3 次去德国时，不标记第 2 次和第 3 次。当人 C 两次去日本时，所有的事件都被标记，因为他们没有连续两年去日本 。 D 去了 3 个不同的目的地（尽管在 2000 年去了 2 个目的地）并且所有这些目的地都被标记了。

我一直在尝试自己解决这个问题，但一直无法摆脱迭代，对于如此庞大的数据集而言，迭代计算量太大。

我将不胜感激；谢谢。

Answer 1

IIUC，

我们正在做的是按id 和vacation 进行分组，并确保该年份不等于上面的年份，或者我们可以选择该组合的第一个实例。

希望这很清楚。如果您需要更多帮助，请告诉我。

df["new_2"] = (
    df.groupby(["id", "vacation"])["id", "year"]
    .apply(lambda x: x.ne(x.shift()))
    .all(axis=1)
    .add(0)
)

---

print(df)
  id  year   vacation  new_2
0  A  2000     France    1
1  A  2001        USA    1
2  A  2002     France    0
3  B  2001    Germany    1
4  B  2002    Germany    0
5  B  2003    Germany    0
6  C  1999      Japan    1
7  C  2000  Australia    1
8  C  2001     France    1

Answer 2

这是我想出的一个解决方案，使用 groupby 和 transform：

df = df.sort_values(["id", "vacation", "year"])
df["new"] = (
    df.groupby(["id", "vacation"])
    .transform(lambda x: x.iloc[0])
    .year.eq(df.year)
    .astype(int)
)

你会得到

  id  year   vacation  new
0  A  2000     France    1
1  A  2001        USA    1
2  A  2002     France    0
3  B  2001    Germany    1
4  B  2002    Germany    0
5  B  2003    Germany    0
6  C  1999      Japan    1
7  C  2000  Australia    1
8  C  2001     France    1

Answer 3

这是一种使用groupby+cumcount和series.mask的方法：

df['new']=df.groupby(['id','vacation']).cumcount().add(1).mask(lambda x: x.gt(1),0)
print(df)

---

  id  year   vacation  new
0  A  2000     France    1
1  A  2001        USA    1
2  A  2002     France    0
3  B  2001    Germany    1
4  B  2002    Germany    0
5  B  2003    Germany    0
6  C  1999      Japan    1
7  C  2000  Australia    1
8  C  2001     France    1