基于特定条件过滤和添加的有效方法（本例中为 3 个条件）

Question

我有一个看起来像这样的数据框

     a    b    c   d
     1    1    1   0
     1    1    1   200
     1    1    1   300
     1    1    2   0
     1    1    2   600
     1    2    3   0
     1    2    3   100
     1    2    3   200
     1    3    1   0

我有一个看起来像这样的数据框

     a    b    c   d
     1    1    1   250
     1    1    2   600
     1    2    3   150
     1    3    1   0

我现在正在做 {

  n=nrow(subset(Wallmart, a==i &    b==j & c==k  ))
  sum=subset(Wallmart, a==i &    b==j & c==k  )
  #sum
  sum1=append(sum1,sum(sum$d)/(n-1))

}

我想添加“d”列并通过计算行数而不计算 0 来取平均值。例如第一行是 (200+300)/2 = 250。 目前我正在构建一个存储“d”列的列表，但理想情况下我希望它采用上述格式。例如第一行看起来像

     a    b    c   d
     1    1    1   250

这是一种非常低效的方式来完成这项工作。代码需要很长时间才能循环运行。 因此，感谢任何帮助，使其运行得更快。原始数据框有大约一百万行。

Answer 1

你可以试试aggregate:

aggregate(d ~ a + b + c, data = df, sum)
#   a b c   d
# 1 1 1 1 500
# 2 1 3 1   0
# 3 1 1 2 600
# 4 1 2 3 300

正如@Roland 所说，对于更大的数据集，您可以尝试使用data.table 或dplyr，例如：

library(dplyr)
df %>%
  group_by(a, b, c) %>%
  summarise(
    sum_d = sum(d))

# Source: local data frame [4 x 4]
# Groups: a, b
# 
#   a b c sum_d
# 1 1 1 1   500
# 2 1 1 2   600
# 3 1 2 3   300
# 4 1 3 1     0

编辑更新问题。 如果你想计算分组平均值，不包括零行，你可以试试这个：

aggregate(d ~ a + b + c, data = df, function(x) mean(x[x > 0]))
#   a b c   d
# 1 1 1 1 250
# 2 1 3 1 NaN
# 3 1 1 2 600
# 4 1 2 3 150

df %>%
  filter(d != 0) %>%
  group_by(a, b, c) %>%
  summarise(
    mean_d = mean(d))

#   a b c mean_d
# 1 1 1 1    250
# 2 1 1 2    600
# 3 1 2 3    150

但是，因为您似乎希望将零视为缺失值而不是数字零，所以我认为在准备数据集时将它们转换为 NA 会更好，之前计算。

df$d[df$d == 0] <- NA
df %>%
  group_by(a, b, c) %>%
  summarise(
    mean_d = mean(d, na.rm = TRUE))

#   a b c mean_d
# 1 1 1 1    250
# 2 1 1 2    600
# 3 1 2 3    150
# 4 1 3 1    NaN

Answer 2

这是您上次编辑时的data.table 解决方案。

library(data.table)
DT <- setDT(df)[, if(any(d[d > 0])) mean(d[d > 0]) else 0, by = c("a","b","c")]
# a b c  V1
# 1: 1 1 1 250
# 2: 1 1 2 600
# 3: 1 2 3 150
# 4: 1 3 1   0

编辑#2：

@Arun 建议加快速度

setDT(df)[, mean(d[d > 0]), by = c("a","b","c")][is.nan(V1), V1 := 0]

编辑#3

@eddis 建议

setDT(df)[, sum(d) / pmax(1, sum(d > 0)), by = list(a, b, c)]

Answer 3

这是另一种方式：

Step1：设置数据表：

df <- read.table(text="     a    b    c   d
     1    1    1   0
     1    1    1   200
     1    1    1   300
     1    1    2   0
     1    1    2   600
     1    2    3   0
     1    2    3   100
     1    2    3   200
     1    3    1   0",header=T)
library(data.table)
setDT(df)
setkey(df,a,b,c)

Step2：进行计算：

df[,sum(d)/ifelse((cnt=length(which(d>0)))>0,cnt,1),by=key(df)]

注意这里不推荐循环。 最好的策略是将解决方案矢量化，如上面的示例所示。

Step3：让我们测试时间：

> dt<-df
> for(i in 1:20) dt <- rbind(dt,dt)
> dim(dt)
[1] 9437184       4
> setkey(dt,a,b,c)
> dt[,sum(d)/ifelse((cnt=length(which(d>0)))>0,cnt,1),by=key(dt)]
   a b c  V1
1: 1 1 1 250
2: 1 1 2 600
3: 1 2 3 150
4: 1 3 1   0
> system.time(dt[,sum(d)/ifelse((cnt=length(which(d>0)))>0,cnt,1),by=key(dt)])
   user  system elapsed 
  0.495   0.090   0.609 

因此，将近 10M 条记录的计算大约需要 0.5 秒！

希望这会有所帮助！