【问题标题】:applying cumsum() from different starting points从不同的起点应用 cumsum()
【发布时间】:2018-08-08 13:43:13
【问题描述】:

我有数据

library(data.table)

set.seed(42)
t <- data.table(time=1:1000, value=runif(100,0,1))
p <- data.table(id=1:10, cut=sample(1:100,5))
vals <- 1:5

> head(t)
   time     value
1:    1 0.9148060
2:    2 0.9370754
3:    3 0.2861395
4:    4 0.8304476
5:    5 0.6417455
6:    6 0.5190959

> head(p)
    id cut
 1:  1  63
 2:  2  22
 3:  3  99
 4:  4  38
 5:  5  91
 6:  6  63

> vals
[1] 1 2 3 4 5

其中t 给出了与时间点相关的values 的一些向量,p 为每个人给出了time 的截止值。

我想为每个人获取累积vals 中每个值所需的时间单位。

我现在的方法是使用 for 循环,为每个人计算累积和的临时向量,从 time 中的特定截止点开始。接下来,我使用findInterval()获取cumsum到达vals中各个级别的位置。

out <- matrix(NA, nrow=nrow(p), ncol=length(vals)); colnames(out) <- vals
for(i in 1:nrow(p)){
   temp <- cumsum(t$value[t$time > p$cut[i]]); temp <- temp[!is.na(temp)]
   out[i,] <- findInterval(vals,temp)
}

应该产生的

      1 2 3 4  5
 [1,] 1 4 5 9 12
 [2,] 1 2 5 6  7
 [3,] 1 2 4 5  7
 [4,] 1 3 5 7  8
 [5,] 2 3 5 7  8
 [6,] 1 4 5 9 12
 [7,] 1 2 5 6  7
 [8,] 1 2 4 5  7
 [9,] 1 3 5 7  8
[10,] 2 3 5 7  8

这当然是非常低效的,并且不能充分发挥 R 的能力。有没有办法加快速度?

【问题讨论】:

  • 你能再看看你的示例数据吗?例如,条件t$value &gt; p$cut[i] 始终为FALSE;因此没有什么可总结的。
  • 让我检查一下,对不起!
  • 抱歉,我混淆了两个变量并选择valsunwisely 在此处打印。现在应该修好了!

标签: r data.table vectorization


【解决方案1】:

我愿意

# precompute cumsum on full table
t[, cs := cumsum(value)]

# compute one time per unique cut value, not per id
cuts = unique(p[, .(t_cut = cut)])

# look up value at cut time
cuts[t, on=.(t_cut = time), v_cut := i.cs]

# look up time at every cut value combo
cutres = cuts[, .(pt = vals + v_cut), by=t_cut][, .(
  t_cut, 
  v = vals,
  t_plus = t[.SD, on=.(cs = pt), roll=TRUE, x.time] - t_cut
)]

给了

    t_cut v t_plus
 1:    63 1      1
 2:    63 2      4
 3:    63 3      5
 4:    63 4      9
 5:    63 5     12
 6:    22 1      1
 7:    22 2      2
 8:    22 3      5
 9:    22 4      6
10:    22 5      7
11:    99 1      1
12:    99 2      2
13:    99 3      4
14:    99 4      5
15:    99 5      7
16:    38 1      1
17:    38 2      3
18:    38 3      5
19:    38 4      7
20:    38 5      8
21:    91 1      2
22:    91 2      3
23:    91 3      5
24:    91 4      7
25:    91 5      8
    t_cut v t_plus

如果您想将其映射回 id 并在 id x vals 表中获取它...

cutres[p, on=.(t_cut = cut), allow.cartesian=TRUE, 
  dcast(.SD, id ~ v, value.var = "t_plus")]

    id 1 2 3 4  5
 1:  1 1 4 5 9 12
 2:  2 1 2 5 6  7
 3:  3 1 2 4 5  7
 4:  4 1 3 5 7  8
 5:  5 2 3 5 7  8
 6:  6 1 4 5 9 12
 7:  7 1 2 5 6  7
 8:  8 1 2 4 5  7
 9:  9 1 3 5 7  8
10: 10 2 3 5 7  8

(或者,关键部分可以像t_plus = t[.SD, on=.(cs = pt), roll=TRUE, which=TRUE] - t_cut 那样完成,因为t$time 是行号。)

【讨论】:

  • 谢谢,效果很好!但是,在某些情况下,cutres = ... 步骤生成的 data.tables 末尾有一个额外的行,它重复第一行的t_cut,并且t_plus 等于某个疯狂的高数字。在您的示例中,这将是 26: 63 5 1000。我怀疑这是由于roll=TRUE 造成的,但还没有弄清楚是什么导致了这种行为。有什么想法吗?
  • @bumblebee 重新计算t_plus 的值,您可以在问题末尾尝试另一种计算方法,或者t_plus = findInterval(pt, t$cs) - t_cut 两者似乎都可以达到相同的结果。或者你可以将mult="first" 添加到t_plus = t[...],如果你有重复的t$cs 值,因为t$value 是零,我想。对于额外的行,我很难过,但你可以看看像 cuts[, .(pt = vals + v_cut), by=t_cut] 这样的中间表来调查。
猜你喜欢
  • 2019-08-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2022-11-13
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多