将函数应用于大型数据集

Question

我有一个大型数据集，我正在 R 中阅读 我想在其上应用Unique() 函数，以便更好地使用它，但是当我尝试这样做时，我收到了提示：

clients <- unique(clients)
Error: cannot allocate vector of size 27.9 Mb

所以我试图通过这样做来部分应用这个功能：

clientsmd<-data.frame()
n<-7316738  #Amount of observations in the dataset
t<-0
for(i in 1:200){
  clientsm<-clients[1+(t*round((n/200))):(t+1)*round((n/200)),]
  clientsm<-unique(clientsm)
  clientsmd<-rbind(clientsm)
  t<-(t+1) }

但我明白了：

 Error in `[.default`(xj, i) : subscript too large for 32-bit R

有人告诉我，我可以使用诸如“ff”或“bigmemory”（或任何其他）之类的软件包更轻松地做到这一点，但我不知道如何将它们用于此目的。

无论是告诉我为什么我的代码不起作用，还是告诉我如何利用这些软件包，我都会感谢任何形式的指导。

Answer 1

clients是data.table的data.frame吗？ data.table与data.frame相比可以处理相当大量的数据

library(data.table)

clients<-data.table(clients)

clientsUnique<-unique(clients)

或

duplicateIndex <-duplicated(clients) 

将给出重复的行。

Answer 2

像下面那样增加你的内存限制，然后尝试执行。

 memory.limit(4000)   ## windows specific command

Answer 3

您可以使用 dplyr 包中的不同功能。

函数 - df %>% distinct(ID)

其中 ID 是您的数据框中唯一的东西。