如何在 R 中使用 disk.frame 计算唯一实体？

Question

我想将数据帧转换为磁盘帧，然后计算第一列。当我尝试它时，它不计算列的唯一值的数量。它似乎在计算工人的数量。

library(disk.frame)
options(future.globals.maxSize = Inf)
setup_disk.frame(workers = 8)

这是一个示例数据集

    bigint <- sample(123901239804:901283455390, 3*10^5)
    df <- data.frame(bigint)
    df %>% 
      summarize(ints = length(unique(bigint)))
    
    df %>% 
      as.disk.frame %>%
      summarize(ints = length(bigint)) %>% 
      collect

在第一个查询中，我得到了这个输出

    ints
1 300000

在第二个查询中，我得到了这个输出

    ints
1      8

Answer 1

{disk.frame} 只支持一些分组功能。你可以使用dplyr::n_distinct

df %>% 
  as.disk.frame %>%
  summarize(ints = n_distinct(bigint)) %>% 
  collect

产生

    ints
1 300000

在此处查看支持的分组动词列表https://diskframe.com/articles/10-group-by.html#list-of-supported-group-by-functions

您可以按照本指南定义更多自定义的分组动词

https://diskframe.com/articles/11-custom-group-by.html

由于 disk.frame 的分块性质，某些分组动词不可能以精确的方式完成（并且必须依赖估计）。但这适用于所有“大”数据系统。