用聚合解决 ddply 任务的优雅方法（希望有更好的性能）

Question

我想通过名为ensg 的标识符变量聚合data.frame。数据框如下所示：

  chromosome probeset               ensg symbol    XXA_00    XXA_36    XXB_00
1          X  4938842 ENSMUSG00000000003   Pbsn  4.796123  4.737717  5.326664

我想计算具有相同ensg 值的行上每个数字列的平均值。这里的问题是我想保留其他身份变量染色体和符号不变，因为它们对于相同的ensg 也是相同的。

最后，我想要一个 data.frame 与标识列 chromosome、ensg、symbol 以及具有相同标识符的行上的数字列的平均值。我在ddply 中实现了这个，但是与aggregate 相比它非常慢：

spec.mean <- function(eset.piece)
  {
    cbind(eset.piece[1,-numeric.columns],t(colMeans(eset.piece[,numeric.columns])))
  }
t
mean.eset <- ddply(eset.consensus.grand,.(ensg),spec.mean,.progress="tk")

我的第一个聚合实现如下所示，

mean.eset=aggregate(eset[,numeric.columns], by=list(eset$ensg), FUN=mean, na.rm=TRUE);

而且速度更快。但是aggregate 的问题是我必须重新附加描述变量。我还没有弄清楚如何将我的自定义函数与aggregate 一起使用，因为aggregate 不传递数据帧而只传递向量。

aggregate 有没有优雅的方法来做到这一点？或者有没有更快的方法来使用ddply？

Answer 1

如果速度是首要考虑因素，您应该查看data.table 包。当行数或分组列数很大时，data.table 似乎真的很闪耀。该软件包的 wiki 是 here，并且有几个指向其他优秀介绍性文档的链接。

以下是使用 data.table() 进行聚合的方法

library(data.table)
#Turn the data.frame above into a data.table
dt <- data.table(df)
#Aggregation

  dt[, list(XXA_00 = .Internal(mean(XXA_00)),
          XXA_36 = .Internal(mean(XXA_36)),
          XXB_00 = .Internal(mean(XXB_00))),
    by = c("ensg", "chromosome", "symbol")
   ]

给我们

     ensg chromosome symbol      XXA_00      XXA_36    XXB_00
[1,]   E1          A     S1  0.18026869  0.13118997 0.6558433
[2,]   E2          B     S2 -0.48830539  0.24235537 0.5971377
[3,]   E3          C     S3 -0.04786984 -0.03139901 0.5618208

通过比较rbenchmark 包的输出，在使用 30 行 data.frame 时，上面提供的聚合解决方案似乎效果很好。但是，当 data.frame 包含 3e5 行时，data.table() 显然是赢家。这是输出：

 benchmark(fag(), fdt(), replications = 10)
   test replications elapsed relative user.self sys.self 
1 fag()           10   12.71 23.98113     12.40     0.31     
2 fdt()           10    0.53  1.00000      0.48     0.05         

Answer 2

首先让我们定义一个玩具示例：

df <- data.frame(chromosome = gl(3,  10,  labels = c('A',  'B',  'C')),
             probeset = gl(3,  10,  labels = c('X',  'Y',  'Z')),
             ensg =  gl(3,  10,  labels = c('E1',  'E2',  'E3')),
             symbol = gl(3,  10,  labels = c('S1',  'S2',  'S3')),
             XXA_00 = rnorm(30),
             XXA_36 = rnorm(30),
             XXB_00 = rnorm(30))

然后我们将aggregate与公式接口一起使用：

df1 <- aggregate(cbind(XXA_00, XXA_36, XXB_00) ~ ensg + chromosome + symbol,  
    data = df,  FUN = mean)

> df1
  ensg chromosome symbol      XXA_00      XXA_36      XXB_00
1   E1          A     S1 -0.02533499 -0.06150447 -0.01234508
2   E2          B     S2 -0.25165987  0.02494902 -0.01116426
3   E3          C     S3  0.09454154 -0.48468517 -0.25644569