【问题标题】:Apply function row wise on pandas data frame on columns with numerical values在具有数值的列上在 pandas 数据框中按行应用函数
【发布时间】:2015-03-27 11:15:29
【问题描述】:

我有以下数据框:

import pandas as pd
df = pd.DataFrame({'AAA' : ['w','x','y','z'], 'BBB' : [10,20,30,40],'CCC' : [100,50,-30,-50]})

看起来像这样:

In [32]: df
Out[32]:
  AAA  BBB  CCC
0   w   10  100
1   x   20   50
2   y   30  -30
3   z   40  -50

我想要做的是对每一列的每一行执行函数操作,除了那些具有非数值的(在本例中为AAA)。在实际情况下,非数字的情况总是在第一列,其余的(可能大于 2 列)总是数字的。

最终期望的输出是:

  AAA  BBB  CCC  Score
0   w   10  100  110
1   x   20   50   70
2   y   30  -30    0
3   z   40  -50  -10

我试过了,但失败了:

import numpy as np
df["Score"] = df.apply(np.sum, axis=1)

正确的做法是什么?

更新2:

这是给出SettingWithCopyWarning 的代码。 请重新启动 ipython 进行测试。

import pandas as pd
import numpy as np 
def cvscore(fclist):
    sd = np.std(fclist)
    mean = np.mean(fclist)
    cv = sd/mean
    return cv

def calc_cvscore_on_df(df):
    df["CV"] = df.iloc[:,1:].apply(cvscore, axis=1)
    return df

df3 = pd.DataFrame(np.random.randn(1000, 3), columns=['a', 'b', 'c'])
calc_cvscore_on_df(df3[["a","b"]])

【问题讨论】:

    标签: python pandas


    【解决方案1】:

    要选择除第一列之外的所有内容,您可以使用df.iloc[:, 1:]

    In [371]: df['Score'] = df.iloc[:, 1:].sum(axis=1)
    
    In [372]: df
    Out[372]: 
      AAA  BBB  CCC  Score
    0   w   10  100    110
    1   x   20   50     70
    2   y   30  -30      0
    3   z   40  -50    -10
    

    要将任意函数func 应用于每一行:

    df.iloc[:, 1:].apply(func, axis=1)
    

    例如,

    import numpy as np
    import pandas as pd
    
    def cvscore(fclist):
        sd = np.std(fclist)
        mean = np.mean(fclist)
        cv = sd/mean
        return cv
    
    df = pd.DataFrame({'AAA' : ['w','x','y','z'], 'BBB' : [10,20,30,40],
                       'CCC' : [100,50,-30,-50]})
    
    df['Score'] = df.iloc[:, 1:].apply(cvscore, axis=1)
    print(df)
    

    产量

      AAA  BBB  CCC     Score
    0   w   10  100  1.211386
    1   x   20   50  0.868377
    2   y   30  -30       NaN
    3   z   40  -50 -5.809058
    

    【讨论】:

    • 抱怨。您是否知道比df.select_dtypes(include=[np.number]).sum(axis=1) 更好的处理一般情况的方法(我们不一定事先知道哪些列是数字)?
    • @unutbu:我如何将其概括为通用函数。实际上,它不是np.sum,而是我的其他特定功能。查看更新。
    • @DSM: df.select_dtypes(include=[np.number]).sum(axis=1) 似乎是一个更好的答案。你不喜欢它的什么?
    • @pdubois:警告是说df3[['a','b']]['CV'] = ... 将无法修改df3。由于calc_cvscore_on_df 返回一个新的df,看来您并没有尝试修改df3。因此,避免警告的最简单方法是将df = df.copy() 放在calc_cvscore_on_df 的开头。那么df 将是自己独立的DataFrame,df['CV'] = ... 不会引发警告。
    • @unutbu,我得到了除以 0 的错误,我没有像你的结果那样得到 NaN?
    猜你喜欢
    • 1970-01-01
    • 2017-09-07
    • 1970-01-01
    • 2018-03-13
    • 1970-01-01
    • 2020-04-02
    • 1970-01-01
    • 1970-01-01
    • 2018-11-29
    相关资源
    最近更新 更多