KDB+/Q：如何按给定的列标量值将行分组到离散的 bin 中以进行进一步聚合？答案

【问题标题】：KDB+/Q: How to group rows by a given columns scalar value into discrete bins for further aggregation?KDB+/Q：如何按给定的列标量值将行分组到离散的 bin 中以进行进一步聚合？
【发布时间】：2020-10-18 19:41:34
【问题描述】：

给定一组价格桶（大小不一），如下所示：

buckets:(
    1000.0 1000.4 1000.9 1001.6 1002.5 1003.6 1004.9 1006.4 1008.1 1010; // min bucket price
    1000.4 1000.9 1001.6 1002.5 1003.6 1004.9 1006.4 1008.1 1010 1012.1 // max bucket price
);

分别指定给定存储桶的最高和最低价格。我如何按这些桶对交易表进行分组，然后对它们进行聚合。即

q) trades
   tid time                   | size price side
   ---------------------------| ---------------
   0   2020.10.18T19:55:41.554| 40   1000.0 0  // first bucket
   1   2020.10.18T20:07:41.554| 83   1000.1 0  // first bucket
   2   2020.10.18T18:43:41.554| 30   1000.5 0  // second bucket
   3   2020.10.18T19:35:41.554| 102  1000.6 0  // second bucket
   4   2020.10.18T19:11:41.554| 16   1000.6 0  // second bucket
   5   2020.10.18T21:17:41.554| 29   1000.9 0  // third bucket
   6   2020.10.18T22:24:41.554| 67   1001.9 0  // fourth bucket
...

为简单起见，我只展示了一侧的聚合

 q) fn[trades;buckets]
    bid | tid
    ---------------
      0 | 0 1
      1 | 2 3 4
      2 | 5
      3 | 6

在 kdb+/q 中是否有一种规范（有效）的方式来实现此功能？

感谢您的指导

【问题讨论】：

标签： kdb

【解决方案1】：

使用 bin 命令。您也只需要存储桶列表的不同值。

q)n:1000000
time         sym price  side
----------------------------
01:35:38.122 CCC 1002.8 0
00:57:13.343 CCC 1003.5 0
02:40:31.958 BBB 1000.3 1
...

q)buckets:1000.0 1000.4 1000.9 1001.6 1002.5 1003.6 1004.9 1006.4 1008.1 1010 1012.1
q)show t2:select time,sym,price,side by Bucket:buckets bin price from t
Bucket| time                                                                 ..
------| ---------------------------------------------------------------------..
0     | 02:40:31.958 01:56:19.155 03:07:33.543 02:19:32.484 03:19:00.728 02:4..
1     | 00:51:01.325 04:15:50.568 01:20:01.150 01:27:36.835 04:05:26.790 00:4..

然后将您的结果取消分组以创建带有 Bucket 列的大表，您可以引用或索引到 t2 以获取每个存储桶的数据，例如：

q)flip t2 0
time         sym price  side
----------------------------
02:40:31.958 BBB 1000.3 1
01:56:19.155 BBB 1000.1 1
03:07:33.543 BBB 1000   0

q)flip t2 3
time         sym price  side
----------------------------
02:44:04.837 BBB 1001.8 0
02:47:43.405 CCC 1001.7 1
01:15:08.693 BBB 1002.3 0

希望这会有所帮助。如果不是您想要的，请告诉我们。

【讨论】：

感谢您花时间回答，CWD。span>

【解决方案2】：

两种实现方式，最好使用 bin

q)buckets:(1000.0 1000.4 1000.9 1001.6 1002.5 1003.6 1004.9 1006.4 1008.1 1010;1000.4 1000.9 1001.6 1002.5 1003.6 1004.9 1006.4 1008.1 1010 1012.1);
q)px:raze .01 -.01+buckets
q)n:5000000;trades:flip`id`time`price`side!n?/:(n;.z.T;px;1)
q)
q)\ts r1:where each trades[`price]within/: flip buckets
237 125830544
q)
q)// using bin
q)
q)bkts:asc distinct raze buckets
q)\ts r2:group bkts bin trades`price
196 243277712
q)
q)asc[r1]~asc value r2
1b
q)
q)exec`l`h!(min;max)@\: price by priceBucket:bkts bkts bin price from trades
priceBucket| l       h
-----------| ---------------
1000       | 1000.01 1000.39
1000.4     | 1000.41 1000.89
1000.9     | 1000.91 1001.59
1001.6     | 1001.61 1002.49
1002.5     | 1002.51 1003.59
1003.6     | 1003.61 1004.89
1004.9     | 1004.91 1006.39
1006.4     | 1006.41 1008.09
1008.1     | 1008.11 1009.99
1010       | 1010.01 1012.09

【讨论】：

感谢您抽出宝贵时间回答，杰森。