Pandas Dataframe 按行数创建任意 Bins答案

【问题标题】：Pandas Dataframe create arbitrary Bins by row countPandas Dataframe 按行数创建任意 Bins
【发布时间】：2018-03-13 19:02:20
【问题描述】：

我有一个（此时）大约 4000 行的 pandas DF，我已将其放入我需要的顺序..

我需要按行数将 DF 分成任意 10 个 bin。所以我想将 bin 编号附加到行中，以便将来按 bin 进行聚合计算。每个大约 400 个，因为最后一个 bin 不会被填写。

我现在不想在一个操作中执行此操作，我只需要获取附加到行的 bin 编号。这样我就可以在另一个步骤中通过聚合来进行分组。

我已经绑定了 pd.qcut 和 pd.cut 但似乎没有任何运气。

ccs_category    sex race    marital_status  presence_of_child   payer_type  no_of_persons   occupation  education   wealth_rate donate_charity  zip age 48_prediction   count   cum_count   cum_accurate    cum_percent
 263    218 M   U   S   N   PK  999 99  0   99  U   60657.0 0   0.000538    1   1   0   0.0
2452    250 M   W   U   U   NK  0   99  0   99  U   8730.0  29  0.000404    1   2   0   0.0
2814    127 F   W   U   N   MK  2   8   2   9   Y   53051.0 75  0.000369    1   3   0   0.0

所以我希望最后一列是 bin_nu，顺序标签为 1-10 (0-9) 就可以了。例如，第一个 400 标签 =1 第二个 400 标签 =2 等等。

results.3['bin_nu']=pd.cut(results3,10,labels=False)

我尝试过 retbins=True 也没有结果给我：

TypeError: '<=' not supported between instances of 'str' and 'int'

我环顾四周，但似乎大部分都是按值（和时间序列）而不是任意项目计数进行分箱？

这是将 DF 的前十行转换为 dict：

{'48_prediction': {263: 0.0005377883207984269,


578: 0.00030468139448203146,
  1168: 0.0003036215784959495,
  2021: 0.0003635243338067085,
  2452: 0.0004036910831928253,
  2518: 0.00029300281312316656,
  2814: 0.00036939769051969046,
  3687: 0.0003046905330847949,
  3963: 0.00029347193776629865,
  7132: 0.00035702803870663047},
 'age': {263: 0,
  578: 68,
  1168: 1,
  2021: 42,
  2452: 29,
  2518: 92,
  2814: 75,
  3687: 40,
  3963: 51,
  7132: 34},
 'ccs_category': {263: '218',
  578: '250',
  1168: '166',
  2021: '90',
  2452: '250',
  2518: '3',
  2814: '127',
  3687: '58',
  3963: '160',
  7132: '196'},
 'count': {263: 1,
  578: 1,
  1168: 1,
  2021: 1,
  2452: 1,
  2518: 1,
  2814: 1,
  3687: 1,
  3963: 1,
  7132: 1},
 'cum_accurate': {263: 0,
  578: 0,
  1168: 0,
  2021: 0,
  2452: 0,
  2518: 0,
  2814: 0,
  3687: 0,
  3963: 0,
  7132: 0},
 'cum_count': {263: 1,
  578: 7,
  1168: 8,
  2021: 4,
  2452: 2,
  2518: 10,
  2814: 3,
  3687: 6,
  3963: 9,
  7132: 5},
 'cum_percent': {263: 0.0,
  578: 0.0,
  1168: 0.0,
  2021: 0.0,
  2452: 0.0,
  2518: 0.0,
  2814: 0.0,
  3687: 0.0,
  3963: 0.0,
  7132: 0.0},
 'donate_charity': {263: 'U',
  578: 'U',
  1168: 'Y',
  2021: 'U',
  2452: 'U',
  2518: 'U',
  2814: 'Y',
  3687: 'U',
  3963: 'U',
  7132: 'U'},
 'education': {263: 0,
  578: 0,
  1168: 0,
  2021: 1,
  2452: 0,
  2518: 0,
  2814: 2,
  3687: 0,
  3963: 4,
  7132: 0},
 'marital_status': {263: 'S',
  578: 'U',
  1168: 'U',
  2021: 'M',
  2452: 'U',
  2518: 'U',
  2814: 'U',
  3687: 'U',
  3963: 'M',
  7132: 'U'},
 'no_of_persons': {263: 999,
  578: 0,
  1168: 2,
  2021: 2,
  2452: 0,
  2518: 0,
  2814: 2,
  3687: 0,
  3963: 3,
  7132: 0},
 'occupation': {263: '99',
  578: '99',
  1168: '99',
  2021: '0',
  2452: '99',
  2518: '99',
  2814: '8',
  3687: '99',
  3963: '0',
  7132: '99'},
 'payer_type': {263: 'PK',
  578: 'MI',
  1168: 'PK',
  2021: 'NK',
  2452: 'NK',
  2518: 'MK',
  2814: 'MK',
  3687: 'PK',
  3963: 'PK',
  7132: 'NK'},
 'presence_of_child': {263: 'N',
  578: 'U',
  1168: 'Y',
  2021: 'Y',
  2452: 'U',
  2518: 'U',
  2814: 'N',
  3687: 'Y',
  3963: 'N',
  7132: 'U'},
 'race': {263: 'U',
  578: 'B',
  1168: 'W',
  2021: 'W',
  2452: 'W',
  2518: 'W',
  2814: 'W',
  3687: 'B',
  3963: 'W',
  7132: 'A'},
 'sex': {263: 'M',
  578: 'F',
  1168: 'M',
  2021: 'M',
  2452: 'M',
  2518: 'M',
  2814: 'F',
  3687: 'F',
  3963: 'F',
  7132: 'F'},
 'wealth_rate': {263: '99',
  578: '7',
  1168: '8',
  2021: '6',
  2452: '99',
  2518: '99',
  2814: '9',
  3687: '0',
  3963: '6',
  7132: '8'},
 'zip': {263: 60657.0,
  578: 76021.0,
  1168: 85711.0,
  2021: 7747.0,
  2452: 8730.0,
  2518: 30680.0,
  2814: 53051.0,
  3687: 7740.0,
  3963: 62025.0,
  7132: 19082.0}}

【问题讨论】：

嘿，你能把你的数据的一个小sn-p添加为字典吗？
问题的一部分是它是一个 df.. 但我添加了它

标签： python pandas

【解决方案1】：

让我们从一个 50 行的随机数据框开始：

df = pd.DataFrame(np.random.randn(50, 4), columns=list("ABCD"))

           A         B         C         D
0   0.113454  3.357840 -0.413755 -1.089784
1   0.800012  0.655826  0.688414  0.012480
2   0.604902 -0.332028  0.470119 -0.370570
3   0.661120  0.635879 -0.441816 -0.847047
4   0.836218  2.597254  1.029996  0.554012
..  0.076679  0.262971  0.687525  0.195338
49  1.948361 -0.801236  2.075301 -0.540771

你可以使用 groupby 简单地对其进行分块并获取分块：

for sub_df_index, sub_df in df.groupby(np.arange(len(df)) // 10):
    print(sub_df.head(10))

前三个块：

          A         B         C         D
0  0.113454  3.357840 -0.413755 -1.089784
1  0.800012  0.655826  0.688414  0.012480
2  0.604902 -0.332028  0.470119 -0.370570
3  0.661120  0.635879 -0.441816 -0.847047
4  0.836218  2.597254  1.029996  0.554012
          A         B         C         D
5 -0.236094  1.714750 -0.091074  0.182944
6  0.928875 -1.125854  0.493389  0.309107
7 -0.238064  1.566493 -0.244627  0.744391
8  0.041049  0.423166  1.020502 -0.467028
9  0.290232  2.119993 -0.174697  0.784637
           A         B         C         D
10 -0.600395  0.604698  0.220617  2.122293
11  0.717157 -0.067665 -1.150331 -0.683567
12  1.006764 -0.869975 -1.646339  0.632909
13  0.076679  0.262971  0.687525  0.195338
14 -0.582238  0.236346 -0.903972 -0.223720

现在您不需要您提议的新标签列；但是，如果你坚持让它插入到每个新的 sub_df 中。

for sub_df_index, sub_df in df.groupby(np.arange(len(df)) // 5):
    sub_df["sub_index"] = sub_df_index
    print(sub_df.head(10))

输出：

         A         B         C         D  sub_index
0  0.113454  3.357840 -0.413755 -1.089784          0
1  0.800012  0.655826  0.688414  0.012480          0
2  0.604902 -0.332028  0.470119 -0.370570          0
3  0.661120  0.635879 -0.441816 -0.847047          0
4  0.836218  2.597254  1.029996  0.554012          0
          A         B         C         D  sub_index
5 -0.236094  1.714750 -0.091074  0.182944          1
6  0.928875 -1.125854  0.493389  0.309107          1
7 -0.238064  1.566493 -0.244627  0.744391          1
8  0.041049  0.423166  1.020502 -0.467028          1
9  0.290232  2.119993 -0.174697  0.784637          1
           A         B         C         D  sub_index
10 -0.600395  0.604698  0.220617  2.122293          2
11  0.717157 -0.067665 -1.150331 -0.683567          2
12  1.006764 -0.869975 -1.646339  0.632909          2
13  0.076679  0.262971  0.687525  0.195338          2
14 -0.582238  0.236346 -0.903972 -0.223720          2

编辑： 如果你需要一个 df 就做

df["sub_index"] = np.arange(len(df)) // 5

输出：

           A         B         C         D  sub_index
0  -1.381390  0.523980  1.306372  0.000278          0
1  -0.425316  0.937133  0.627025 -0.439032          0
2  -0.443357  0.160292  0.450645 -0.366276          0
3  -2.222720 -1.768990 -0.067939  1.239722          0
4   2.039943  0.774243  0.108462  0.192314          0
5  -0.702514 -1.258634 -1.086802  1.151799          1
6   1.269017  1.115269 -0.417813  1.161220          1
7  -0.620205 -0.054393  0.431089  0.436805          1
8  -2.321976 -1.269446  0.927542 -0.069101          1
9   0.387243  0.055290  1.519623 -0.732410          1
10 -0.227690 -1.991782 -0.712146  0.003375          2
11 -1.396515 -0.074016 -1.141520 -0.226016          2
12 -0.430559  1.347512 -0.773859  1.016727          2
13  0.867294  0.924141 -0.484293 -0.666916          2
14 -0.224497  0.818024  1.057355  1.700363          2
15 -0.790723 -0.039521  1.529804 -0.415783          3

【讨论】：

我想我可以将 df 重新连接在一起吗？我真的在这一点上想要一个 df 作为结果？我要做的组和聚合接下来会出现，而且有点奇怪..
非常接近 :-) 但我没有得到正确数量的子索引...我得到每个子索引 10 行而不是大约 400 行？
你做了df["sub_index"] = np.arange(len(df)) // 400 吗？
我不能只使用 400 我需要像这样将 df 长度分成十？像这样的东西（但这也不对： results3["sub_index"] = np.arange(len(results3)) // (len(results3)//10) 因为我试图将 DF 分成 10 个部分
这样就可以了 results3["sub_index"] = np.arange(len(results3)) // (len(results3)//10) 后跟 results3=results3[:-1] #降到底部 1 以消除奇数