通过组的子集的平均值对分组的 DataFrame 进行归一化答案

【问题标题】：Normalize a grouped DataFrame by the mean of a subset of the group通过组的子集的平均值对分组的 DataFrame 进行归一化
【发布时间】：2017-08-20 09:29:36
【问题描述】：

我想用 Condition CT 中的值的平均值对按 Type 分组的 Pandas DataFrame 中的数据进行标准化。

DataFrame 是这样的：

df = pd.DataFrame({'Type' : ['A', 'A', 'A', 'A',
                          'B', 'B', 'B', 'B'],
                   'Condition' : ['Tx', 'CT', 'Tx', 'CT',
                          'Tx', 'CT', 'Tx', 'CT'],
                   'Var1' : np.random.randn(8),
                   'Var2' : np.random.randn(8)})

print(df)
  Condition Type      Var1      Var2  Var1_Norm  Var2_Norm
0        Tx    A -1.555886 -0.454512   3.290695  -1.059712
1        CT    A  0.820324  0.357123  -1.734983   0.832645
2        Tx    A -0.355758  0.807324   0.752426   1.882305
3        CT    A -0.799936  1.005673   1.691862   2.344762
4        Tx    B -0.253152 -0.585186   0.234666   6.790024
5        CT    B -0.672658  0.851191   0.623540  -9.876536
6        Tx    B -1.768877 -0.083506   1.639711   0.968933
7        CT    B -1.620407 -0.527232   1.502083   6.117579

我知道如何通过整个组的平均值进行归一化：

df[['Var1_Norm', 'Var2_Norm']] = df.groupby(['Type']).transform(lambda x: x/x.mean())

但是如何通过组的子集（Condition == 'CT' 的行？

我尝试了以下导致AttributeError：

df[['Var1_Norm', 'Var2_Norm']] = df.groupby(['Type']).transform(lambda x: x/x[x.Condition == 'CT'].mean())
AttributeError: ("'Series' object has no attribute 'Condition'", 'occurred at index Condition')

在@piRSquared 的回答的帮助下，我找到了一个使用 for 循环的解决方案：

df[['Var1_Norm', 'Var2_Norm']] = df[['Var1', 'Var2']]
for t in df.Type.unique():
    ct_mean = df.loc[(df.Type == t) & (df.Condition == 'CT'),['Var1_Norm', 'Var2_Norm']].mean()
    df.loc[df.Type == t,['Var1_Norm', 'Var2_Norm']] = df.loc[df.Type == t,['Var1_Norm', 'Var2_Norm']].div(ct_mean)

【问题讨论】：

对不起，我没能帮上忙。您可能希望显示您期望得到的确切数字。
非常感谢您的意见！我用一个使用 for 循环的解决方案更新了这个问题。我真的很想用groupby 替换循环。

标签： python pandas normalization

【解决方案1】：

您可以使用apply 方法代替transform。

groupby 方法 transform 传递一个序列并期望返回一个序列，而 apply 传递一个 数据帧 并期望返回一个数据帧或序列（更详细地解释 @987654321 @)。这将允许您检查条件，因为您可以访问函数内的相关列：

df[['Var1_Norm', 'Var2_Norm']] = df.groupby(['Type']).apply(
    lambda x: x[['Var1', 'Var2']] / x.loc[x['Condition'] == 'CT', ['Var1', 'Var2']].mean())

print(df)

结果：

  Condition Type      Var1      Var2  Var1_Norm  Var2_Norm
0        Tx    A  0.285153  0.093274   0.653616  -0.281818
1        CT    A  0.947555 -0.998790   2.171946   3.017739
2        Tx    A -1.123067 -0.572842  -2.574246   1.730783
3        CT    A -0.075015  0.336844  -0.171946  -1.017739
4        Tx    B  0.126968 -1.095042   0.146513  -2.741475
5        CT    B  0.441539  0.431948   0.509506   1.081396
6        Tx    B -1.945165 -0.233643  -2.244588  -0.584932
7        CT    B  1.291665  0.366923   1.490494   0.918604

当然，您可以将其推广到任意数量的列上，甚至可以创建一个函数生成器，根据给定条件生成函数。

【讨论】：