循环遍历 Pandas 数据帧并根据条件复制到新数据帧

Question

我有一个数据框 df，其中包含 6000 多行数据，日期时间索引采用 YYYY-MM-DD 形式，列 ID、water_level 和 change。

我想：

1. 遍历change 列中的每个值并确定转折点
2. 当我找到一个转折点时，将包括索引在内的整行数据复制到一个新的数据帧中，例如turningpoints_df
3. 对于循环中确定的每个新转折点，将该行数据添加到我的新数据框turningpoints_df，这样我最终会得到如下结果：

               ID    water_level    change
date           
2000-10-01      2         5.5        -0.01
2000-12-13     40        10.0         0.02
2001-02-10    150         1.1       -0.005
2001-07-29    201        12.4         0.01
...           ...         ...          ...

我正在考虑采用定位方法，例如（纯粹是说明性的）：

turningpoints_df = pd.DataFrame(columns = ['ID', 'water_level', 'change'])

for i in range(len(df['change'])):
    if [i-1] < 0 and [i+1] > 0:
        #this is a min point and take this row and copy to turningpoints_df
    elif [i-1] > 0 and [i+1] < 0:
        #this is a max point and take this row and copy to turningpoints_df
    else: 
        pass 

我的问题是，我不确定如何对照之前和之后的值检查change 列中的每个值，然后在满足条件时如何将该行数据提取到新的 df 中.

Answer 1

听起来您想使用 DataFrame 的 shift 方法。

#  shift values down by 1:

df[change_down] = df[change].shift(1)


#  shift values up by 1:
df[change_up] = df[change].shift(-1)

然后您应该能够比较每一行的值并继续您想要实现的任何目标..

for row in df.iterrows():
   *check conditions here*

Answer 2

使用一些 NumPy 功能，让您可以roll() 向前或向后进行一系列操作。然后将 prev 和 next 放在同一行上，这样就可以使用一个简单的函数来apply() 你的逻辑，因为一切都在同一行上。

from decimal import *
import numpy as np
d = list(pd.date_range(dt.datetime(2000,1,1), dt.datetime(2010,12,31)))
df = pd.DataFrame({"date":d, "ID":[random.randint(1,200) for x in d], 
     "water_level":[round(Decimal(random.uniform(1,13)),2) for x in d], 
      "change":[round(Decimal(random.uniform(-0.05, 0.05)),3) for x in d]})

# have ref to prev and next, just apply logic
def turningpoint(r):
    r["turningpoint"] = (r["prev_change"] < 0 and r["next_change"] > 0) or \
        (r["prev_change"] > 0 and r["next_change"] < 0)
    return r

# use numpy to shift "change" so have prev and next on same row as new columns
# initially default turningpoint boolean
df = df.assign(prev_change=np.roll(df["change"],1), 
          next_change=np.roll(df["change"],-1),
          turningpoint=False).apply(turningpoint, axis=1).drop(["prev_change", "next_change"], axis=1)
# first and last rows cannot be turning points
df.loc[0:0,"turningpoint"] = False
df.loc[df.index[-1], "turningpoint"] = False

# take a copy of all rows that are turningpoints into new df with index
df_turningpoint = df[df["turningpoint"]].copy()
df_turningpoint