【问题标题】:operations in pandas DataFramepandas DataFrame 中的操作
【发布时间】:2015-09-25 04:28:30
【问题描述】:

我有一个相当大(约 5000 行)的 DataFrame,有许多变量,比如 2 ['max', 'min'],按 4 个参数排序,['Hs', 'Tp', 'wd' , '种子']。它看起来像这样:

>>> data.head()
   Hs  Tp   wd  seed  max  min
0   1   9  165    22  225   18
1   1   9  195    16  190   18
2   2   5  165    43  193   12
3   2  10  180    15  141   22
4   1   6  180    17  219   18
>>> len(data)
4500

我只想保留前 2 个参数,并为每个“wd”单独计算所有“种子”的最大标准偏差。

最后,我得到了唯一的 (Hs, Tp) 对,每个变量的标准差最大。比如:

>>> stdev.head()
  Hs Tp       max       min
0  1  5  43.31321  4.597629
1  1  6  43.20004  4.640795
2  1  7  47.31507  4.569408
3  1  8  41.75081  4.651762
4  1  9  41.35818  4.285991
>>> len(stdev)
30

以下代码可以满足我的要求,但由于我对 DataFrames 了解甚少,我想知道这些嵌套循环是否可以以不同且更多 DataFramey 的方式完成 =)

import pandas as pd
import numpy as np

#
#data = pd.read_table('data.txt')
#
# don't worry too much about this ugly generator,
# it just emulates the format of my data...
total = 4500
data = pd.DataFrame()
data['Hs'] = np.random.randint(1,4,size=total)
data['Tp'] = np.random.randint(5,15,size=total)
data['wd'] = [[165, 180, 195][np.random.randint(0,3)] for _ in xrange(total)]
data['seed'] = np.random.randint(1,51,size=total)
data['max'] = np.random.randint(100,250,size=total)
data['min'] = np.random.randint(10,25,size=total)

# and here it starts. would the creators of pandas pull their hair out if they see this?
# can this be made better?
stdev = pd.DataFrame(columns = ['Hs', 'Tp', 'max', 'min'])
i=0
for hs in set(data['Hs']):
    data_Hs = data[data['Hs'] == hs]
    for tp in set(data_Hs['Tp']):
        data_tp = data_Hs[data_Hs['Tp'] == tp]
        stdev.loc[i] = [
               hs, 
               tp, 
               max([np.std(data_tp[data_tp['wd']==wd]['max']) for wd in set(data_tp['wd'])]), 
               max([np.std(data_tp[data_tp['wd']==wd]['min']) for wd in set(data_tp['wd'])])]
        i+=1

谢谢!

PS:如果好奇,这是关于海浪变量的统计数据。 Hs 是波高,Tp 波周期,wd 波方向,种子代表不规则波列的不同实现,min 和 max 是特定曝光时间内的峰值或 my 变量。毕竟,通过标准差和平均值,我可以对数据进行一些分布拟合,比如 Gumbel。

【问题讨论】:

    标签: python pandas statistics dataframe


    【解决方案1】:

    如果我理解正确的话,这可能是单行的:

    data.groupby(['Hs', 'Tp', 'wd'])[['max', 'min']].std(ddof=0).max(level=[0, 1])
    

    (如果需要,请在末尾添加reset_index()

    【讨论】:

    • 谢谢!这就是我所追求的。 np.std()pd.Series.std() 之间只有这个令人讨厌的区别......我不得不使用 .std(ddof=0) 尽管在文档中 0 是默认参数。
    猜你喜欢
    • 2022-12-22
    • 1970-01-01
    • 1970-01-01
    • 2021-12-01
    • 2021-01-01
    • 2014-06-28
    • 2013-11-20
    • 1970-01-01
    • 2020-04-26
    相关资源
    最近更新 更多