逻辑熊猫的多索引和掩码

【问题标题】：Multi Indexing and masks with logic pandas逻辑熊猫的多索引和掩码
【发布时间】：2017-02-23 11:52:01
【问题描述】：

我有 4 个索引。 Mun，loc，geo和block。我需要创建掩码来操作它们，这样我就可以创建掩码并执行如下所示的操作：

                       data1  data2
mun  loc  geo  block
0    0    0    0       12     12
1    0    0    0       20     20
1    1    0    0       10     10
1    1    1    0       10     10   
1    1    1    1       3      3/4
1    1    1    2       4      4/4
1    1    2    0       30     30   
1    1    2    1       1      1/3
1    1    2    2       3      3/3
1    1    0    0       4      4
1    2    1    1       10     10/12
1    2    1    2       12     12/12
2    0    0    0       60     60
2    1    1    1       123    123/123
2    1    1    2       7      7/123
2    1    2    1       6      6/6
2    1    2    2       1      1/6

                       data1  data2
mun  loc  geo  block
0    0    0    0       12     12
1    0    0    0       20     20
1    1    0    0       10     10
1    1    1    0       10     10/30   
1    1    1    1       4      4
1    1    2    0       30     30/30   
1    2    1    0       2      2/3
1    2    2    0       3      3/3
1    2    3    0       1      1/3
2    0    0    0       60     60
2    1    1    0       12     12/88 
2    1    1    1       1       1
2    1    2    0       88     88/88
2    1    2    1       9      9

                       data1  data2
mun  loc  geo  block
0    0    0    0       14     14
1    0    0    0       12     12
1    1    0    0       20     20/20
1    1    1    0       10     10   
1    1    1    1       31     31
1    2    0    0       15     15/20 
1    2    1    1       11     11
2    0    0    0       80     80
2    1    0    0       100    100/100
2    1    1    2       7      7
2    2    0    0       11     11/100

                       data1  data2
mun  loc  geo  block
0    0    0    0       55     55
1    0    0    0       70     70/70
1    1    0    0       12     12
1    1    1    0       13     13   
2    0    0    0       60     60/70
2    1    1    1       12     12
2    1    2    1       6      6
3    0    0    0       12     12/70

也就是说，取层次结构中的最大值并除以每个元素。关于第一个问题，我在another question 中得到了帮助，但是在掌握多索引时遇到了很多问题。任何帮助将不胜感激。

【问题讨论】：

  • 这需要更多细节。显然你只是将某些元素除以最大值，而将其他元素保持不变，请说明你的选择规则，仅从数据中看不清楚。

标签： python pandas indexing division multi-index


【解决方案1】：

这并不容易。但主要使用get_level_values 来选择条件值：

级别block：

print (df)
                   data1    data2
mun loc geo block                
0   0   0   0         12       12
1   0   0   0         20       20
    1   0   0         10       10
        1   0         10       10
            1          3      3/4
            2          4      4/4
        2   0         30       30
            1          1      1/3
            2          3      3/3
        0   0          4        4
    2   1   1         10    10/12
            2         12    12/12
2   0   0   0         60       60
    1   1   1        123  123/123
            2          7    7/123
        2   1          6      6/6
            2          1      1/6

mask3 =  (df.index.get_level_values('mun') != 0) & \
         (df.index.get_level_values('loc') != 0 ) & \
         (df.index.get_level_values('geo') != 0) & \
         (df.index.get_level_values('block') != 0 )

print (mask3)
[False False False False  True  True False  True  True False  True  True
 False  True  True  True  True]

df2 = df.ix[mask3, 'data1'].groupby(level=['mun','loc','geo']).max()
#print (df2)

df2 = df2.reindex(df.reset_index(level=3, drop=True).index).mask(~mask3).fillna(1)
#print (df2)

print (df['data1'].div(df2.values,axis=0))
mun  loc  geo  block
0    0    0    0        12.000000
1    0    0    0        20.000000
     1    0    0        10.000000
          1    0        10.000000
               1         0.750000
               2         1.000000
          2    0        30.000000
               1         0.333333
               2         1.000000
          0    0         4.000000
     2    1    1         0.833333
               2         1.000000
2    0    0    0        60.000000
     1    1    1         1.000000
               2         0.056911
          2    1         1.000000
               2         0.166667
dtype: float64

级别geo：

print (df)
                   data1  data2
mun loc geo block              
0   0   0   0         12     12
1   0   0   0         20     20
    1   0   0         10     10
        1   0         10  10/30
            1          4      4
        2   0         30  30/30
    2   1   0          2    2/3
        2   0          3    3/3
        3   0          1    1/3
2   0   0   0         60     60
    1   1   0         12  12/88
            1          1      1
        2   0         88  88/88
            1          9      9

df1 = df.reset_index(drop=True, level='block')

mask3 =  (df.index.get_level_values('mun') != 0) & \
             (df.index.get_level_values('loc') != 0 ) & \
             (df.index.get_level_values('geo') != 0) & \
             (df.index.get_level_values('block') == 0 )

print (mask3)
[False False False  True False  True  True  True  True False  True False
  True False]

df2 = df1.ix[mask3, 'data1'].groupby(level=['mun','loc']).max()

df2=df2.reindex(df.reset_index(level=['geo','block'], drop=True).index).mask(~mask3).fillna(1)
print (df2)
df['new'] = df['data1'].div(df2.values,axis=0)

print (df)
                   data1  data2        new
mun loc geo block                         
0   0   0   0         12     12  12.000000
1   0   0   0         20     20  20.000000
    1   0   0         10     10  10.000000
        1   0         10  10/30   0.333333
            1          4      4   4.000000
        2   0         30  30/30   1.000000
    2   1   0          2    2/3   0.666667
        2   0          3    3/3   1.000000
        3   0          1    1/3   0.333333
2   0   0   0         60     60  60.000000
    1   1   0         12  12/88   0.136364
            1          1      1   1.000000
        2   0         88  88/88   1.000000
            1          9      9   9.000000

级别loc：

print (df)
                   data1    data2
mun loc geo block                
0   0   0   0         14       14
1   0   0   0         12       12
    1   0   0         20    20/20
        1   0         10       10
            1         31       31
    2   0   0         15    15/20
        1   1         11       11
2   0   0   0         80       80
    1   0   0        100  100/100
        1   2          7        7
    2   0   0         11   11/100

df1 = df.reset_index(drop=True, level=['block', 'geo'])


mask3 =  (df.index.get_level_values('mun') != 0) & \
         (df.index.get_level_values('loc') != 0 ) & \
         (df.index.get_level_values('geo') == 0) & \
         (df.index.get_level_values('block') == 0 )

print (mask3)
[False False  True False False  True False False  True False  True]

df2 = df1.ix[mask3, 'data1'].groupby(level=['mun']).max()
#print (df2)

df2 =df2.reindex(df.reset_index(level=['geo','block', 'loc'], drop=True).index).mask(~mask3).fillna(1)
#print (df2)

print (df['data1'].div(df2.values,axis=0))
mun  loc  geo  block
0    0    0    0        14.00
1    0    0    0        12.00
     1    0    0         1.00
          1    0        10.00
               1        31.00
     2    0    0         0.75
          1    1        11.00
2    0    0    0        80.00
     1    0    0         1.00
          1    2         7.00
     2    0    0         0.11
dtype: float64

级别mun：

print (df)
                   data1  data2
mun loc geo block              
0   0   0   0         55     55
1   0   0   0         70  70/70
    1   0   0         12     12
        1   0         13     13
2   0   0   0         60  60/70
    1   1   1         12     12
        2   1          6      6
3   0   0   0         12  12/70

mask3 =  (df.index.get_level_values('mun') != 0) & \
         (df.index.get_level_values('loc') == 0 ) & \
         (df.index.get_level_values('geo') == 0) & \
         (df.index.get_level_values('block') == 0 )

print (mask3)
[False  True False False  True False False  True]

df2 = df.ix[mask3, 'data1'].max()
#print (df2)

df2 = pd.Series(df2, index=df.index).mask(~mask3).fillna(1)
#print (df2)

print (df['data1'].div(df2.values,axis=0))
mun  loc  geo  block
0    0    0    0        55.000000
1    0    0    0         1.000000
     1    0    0        12.000000
          1    0        13.000000
2    0    0    0         0.857143
     1    1    1        12.000000
          2    1         6.000000
3    0    0    0         0.171429
dtype: float64

【讨论】：

  • 谢谢兄弟。我认为地理一号有错误。它不是在做除法...如果我想将所有结果统一在一个列中怎么办？
  • 我试着找出问题。如果需要新列使用df['new'] = (df['data1'].div(df2.values,axis=0))`，如果它返回NaN，使用df['new'] = (df['data1']。 div(df2.values,axis=0).values)`
  • 我做了，但它覆盖了之前的计算。如果我确实阻塞了，那么地理覆盖，所以我在该索引级别的 data2 中得到相同的 data1 值
  • 抱歉，geo 错了，现在正确了。你想删除列data2 还是用输出中的新值替换data2？
猜你喜欢
  • 2017-07-03
  • 2019-09-20
  • 2018-04-18
  • 2019-06-06
  • 2016-10-16
  • 2019-01-19
  • 2023-01-09
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode