如何在 KDB 上快速将数据插入磁盘表？

Question

我有大约 10,000 个符号的 5 年分钟柱，作为 CSV 文件。它总共有大约 50GB 的文本。我的内存是 32GB。

我正在尝试将所有这些数据加载到 KDB 表中，以便轻松查询。

symbols: `$(-4_')(string') key `:/home/chris/sync/us_equities

f: {`$(":/home/chris/sync/us_equities/", x, ".csv")}

load_symbol: {(0!(update "P"$-1_/:t, s: x from flip `t`o`h`l`c`v!("*FFFFI";",")0: f(string x))) }

({`:/home/chris/sync/price_data insert (load_symbol x)}) each symbols

• 我应该使用简单的表，还是应该使用分区/splays？
• 我将代码添加为符号类型的额外列；对吗？
• 最后一行insert 非常缓慢。看起来需要大约一天的时间来处理，也许更长。我该如何优化它？我试过peach，但这更慢。看起来它开始非常快，并且随着each 的每一步而变慢。

谢谢！

Answer 1

由于数据大小和更新频率的原因，不建议在这种情况下使用平面文件。每次插入时都需要从头开始重新创建文件，导致插入时间与总行数成线性关系。

q)t:([]a:til 10000000;b:til 10000000)
q)`:t set t
`:t
q)\t `:t insert t
305
q)\t `:t insert t
365
q)\t `:t insert t
574
q)\t `:t insert t
809
q)\t `:t insert t
1236
q)\t `:t insert t
2687
q)\t `:t insert t
3200

将此与展开表进行比较，其中新数据中的每一列都附加到相应的文件中，从而导致不断插入。

q)t:([]a:til 10000000;b:til 10000000)
q)`:t/ set t
`:t/
q)\t `:t insert t
166
q)\t `:t insert t
101
q)\t `:t insert t
97
q)\t `:t insert t
100
q)\t `:t insert t
111
q)\t `:t insert t
113

如果符号不在文件中，那么将其添加到表中是明智的。不过，我建议将列命名为 sym 而不是 s。这只是因为它在 kdb 中是常规的，并且一些内置函数采用了这个名称。

据我估计，这张桌子对于一张简单的张开桌子来说太大了。我会按日期或月份对其进行分区，具体取决于您正在运行的查询类型。

如果您的查询经常选择符号的子集，则必须按符号排序并添加parted attribute。需要使用asof join，因为它使用二进制搜索。

以下代码将执行此操作，但由于您的文件已经由 sym 分隔，您应该可以跳过 sym 排序。

/ to sort a table in memory and apply parted attribute
update `p#sym from `sym`time xasc data 
/ to sort a table on disk and apply parted attribute
sym`time xasc `:path/to/partition
@[`:path/to/partition;`sym;`p#]

如果您的查询更适合在所有符号中选择特定时间窗口，您最好只按时间段排序并将排序属性应用于此列。

此外，您可能需要考虑使用 .Q.fs 或 .Q.fsn 流式传输 csv 文件，以减少任何单个加载的内存使用量。这将允许您使用多线程或其他进程以相同的内存开销加载数据。