优化 Python 代码

Question

我编写了以下代码来预处理这样的数据集：

StartLocation   StartTime   EndTime
school          Mon Jul 25 19:04:30 GMT+01:00 2016  Mon Jul 25 19:04:33 GMT+01:00 2016
...             ...         ...

它包含用户参加的地点列表以及开始和结束时间。每个位置可能会出现多次，并且没有完整的位置列表。由此，我想汇总每个位置的数据（频率、总时间、平均时间）。为此，我编写了以下代码：

def toEpoch(x):
    try:
        x = datetime.strptime(re.sub(r":(?=[^:]+$)", "", x), '%a %b %d %H:%M:%S %Z%z %Y').strftime('%s')
    except:
        x = datetime.strptime(x, '%a %b %d %H:%M:%S %Z %Y').strftime('%s')
    x = (int(x)/60)
    return x

#Preprocess data
df = pd.read_csv('...')
for index, row in df.iterrows():
    df['StartTime'][index] = toEpoch(df['StartTime'][index])
    df['EndTime'][index] = toEpoch(df['EndTime'][index])
    df['TimeTaken'][index] = int(df['EndTime'][index]) - int(df['StartTime'][index])
total = df.groupby(df['StartLocation'].str.lower()).sum()
av = df.groupby(df['StartLocation'].str.lower()).mean()
count = df.groupby(df['StartLocation'].str.lower()).count()
output = pd.DataFrame({"location": total.index, 'total': total['TimeTaken'], 'mean': av['TimeTaken'], 'count': count['TimeTaken']})
print(output)

这段代码运行正常，但是效率很低。如何优化代码？

编辑：基于 @Batman's 有用的 cmets 我不再迭代。但是，如果可能的话，我仍然希望进一步优化这一点。更新后的代码是：

df = pd.read_csv('...')
df['StartTime'] = df['StartTime'].apply(toEpoch)
df['EndTime'] = df['EndTime'].apply(toEpoch)
df['TimeTaken'] = df['EndTime'] - df['StartTime']
total = df.groupby(df['StartLocation'].str.lower()).sum()
av = df.groupby(df['StartLocation'].str.lower()).mean()
count = df.groupby(df['StartLocation'].str.lower()).count()
output = pd.DataFrame({"location": total.index, 'total': total['TimeTaken'], 'mean': av['TimeTaken'], 'count': count['TimeTaken']})
print(output)

Answer 1

我要做的第一件事是停止遍历行。

df['StartTime'] = df['StartTime'].apply(toEpoch)
df['EndTime'] = df['EndTime'].apply(toEpoch)
df['TimeTaken'] = df['EndTime'] - df['StartTime']

然后，执行一次groupby 操作。

gb = df.groupby('StartLocation')
total = gb.sum()
av = gb.mean()
count = gb.count()

Answer 2

• 矢量化日期转换
• 取两个系列时间戳的差值给出一系列时间增量
• 使用 total_seconds 从 timedeltas 中获取秒数
• groupby 与 agg

---

# convert dates
cols = ['StartTime', 'EndTime']
df[cols] = pd.to_datetime(df[cols].stack()).unstack()

# generate timedelta then total_seconds via the `dt` accessor
df['TimeTaken'] = (df.EndTime - df.StartTime).dt.total_seconds()

# define the lower case version for cleanliness
loc_lower = df.StartLocation.str.lower()

# define `agg` functions for cleanliness
# this tells `groupby` to use 3 functions, sum, mean, and count
# it also tells what column names to use
funcs = dict(Total='sum', Mean='mean', Count='count')
df.groupby(loc_lower).TimeTaken.agg(funcs).reset_index()

---

日期转换说明

• 为方便起见，我定义了cols
• df[cols] = 是对这两列的赋值
• pd.to_datetime() 是一个矢量化日期转换器，但只接受 pd.Series 而不是 pd.DataFrame
• df[cols].stack() 将 2 列数据框变成一个系列，现在可以使用 pd.to_datetime()
• 使用pd.to_datetime(df[cols].stack()) 和unstack() 来取回我的2 列，现在可以分配了。