R：搜索和隔离时间序列中的多个首次出现

Question

我正在尝试编写一个函数，该函数允许我查找给定年份中事件的多次首次出现。事件在不同的时间发生在不同的公司身上。所以一个事件可能在 1980 年第一次发生在 c 公司，然后在 1981 年发生在 b 公司。在这种情况下，我只需要找到公司 c_1980 和矩阵中的相关值。

但是，如果一个事件直到 1986 年发生在 a 公司和 1986 年也发生在 e 公司才发生，那么我需要在矩阵中找到 a_1986 和 e_1986 及其各自值的结果。

我的 (2500 * 800) 矩阵在纵轴上有 2500 个不同的事件，在横轴上有 800 个不同的 year_firm 组合。所有值都介于 0 和 10 之间（在实矩阵中，在示例中介于 0 和 2 之间），绝大多数为零。

示例数据：

av<-matrix(rep(0:2),10,40)
av[1:7,]=0 ; av[9,3:14]=0
av[,c(22,38)]=1
colnames(av)<-paste(c("a","b","c","d","e"),rep(1980:1987, each=5),sep="_")
col.av<-colnames(av)
rownames(av)<-paste("X",1:10,sep="")
row.av<-rownames(av)

我一直使用的主要公式给出了第一次出现的矩阵中的位置：

first<-max.col(av>0,"first") 

这可以很好地找到第一次出现。然而，正如数据显示的那样，有时这在同一年会多次发生（例如，第 8 行中的事件发生在 1980 年，公司 a、b、d 和 e -> 鉴于这是第 8 行变为非第 8 行的第一年-zero 我需要找到 4 个不同的值作为输出）。

到目前为止，我的代码基本上是一个补丁解决方案

avdum1<-matrix(cbind(seq(1:nrow(av)),first),nrow=nrow(av),ncol=2)
avdum2<-matrix(cbind(row.av,first),nrow=nrow(av),ncol=2)

使用 avdum1 和 avdum2 以及原始的行名和列名，然后我可以设计一个矩阵，让我在原始矩阵中第一次出现，以及第一次出现的确切值（1 或 2）以及公司-年份组合

firsttime<-matrix(cbind(row.av,col.av[first],av[avdum1]),nrow=nrow(av),ncol=3)

到目前为止一切顺利。 现在，要找到同一年的其他第一次出现，我要做的是

av[avdum1]<-0

这将原始的第一次出现置于零，然后我再次运行整个过程，然后展开第一次矩阵，将列名拆分为年份和公司名称 a、b、c、d、e，比较年，看看第二次第一次出现是否发生在同一年。如果是这样，我必须第三次重新运行整个过程，依此类推（我的真实数据集有 40 家公司）。

这变得相当麻烦，所以我想知道是否有更聪明的方法来做到这一点？可能基于该事件在矩阵中的相对位置发现阳性事件后进行本地化搜索？

最终期望的结果：

（如果您复制示例数据，则可以在生成矩阵时忽略初始警告）

对于第 1 到 7 行，结果将是 b_1984，值为 1 对于第 8 行，结果应该是 a_1980 和 1、b_1980 和 2、d_1980 和 1 和 e_1980 和 2 对于第 9 行，a_1980 与 2 对于第 10 行，b_1980 为 1，c_1980 为 2，e_1980 为 1

希望这可以澄清之前的一些问题/cmets

非常欢迎任何建议！

Answer 1

我试了一下，虽然我走的路和你的有点不同。也许，可能有一种方法可以按原样处理您的数据以给出结果（甚至可能更快），但我更喜欢使用“长”格式。长格式也可以通过“data.table”和“dplyr”等包快速处理。

首先，我将您的av 转换为以下格式的长格式：

#turn to long format
long_DF = as.data.frame(as.table(av), responseName = "value")

#tidy up
tmp = do.call(rbind.data.frame, strsplit(as.character(long_DF[[2]]), "_"))
long_DF$firm = tmp[, 1] ; long_DF$year = tmp[, 2] 
long_DF$event = long_DF[[1]] ; long_DF = long_DF[-(1:2)]

long_DF[c(1,4,5,8,15,16,20), ]
#   value firm year event
#1      0    a 1980    X1
#4      0    a 1980    X4
#5      0    a 1980    X5
#8      1    a 1980    X8
#15     0    b 1980    X5
#16     0    b 1980    X6
#20     1    b 1980   X10

从这里开始，我想会有许多不同且更有效的方法，但我只能 - 想出以下方法：

#3D array
res = xtabs(value ~ firm + year + event, long_DF)

res[, , 3, drop = F]
#, , event = X3
#
#    year
#firm 1980 1981 1982 1983 1984 1985 1986 1987
#   a    0    0    0    0    0    0    0    0
#   b    0    0    0    0    1    0    0    0
#   c    0    0    0    0    0    0    0    1
#   d    0    0    0    0    0    0    0    0
#   e    0    0    0    0    0    0    0    0

对于每个第 3 个维度，您可以搜索 1) 哪些值（[行、列]）大于 0 和 2）哪些值在可用的最小列中（即事件发生在较早的一年）。其实现可能是以下函数：

#function to apply to each 3rd dimension
f1 = function(x) {
      wh = which(x > 0, arr.ind = T)
      wh2 = which(wh[, "col"] == min(wh[, "col"]))
      wh3 = wh[wh2, , drop = F]
      cbind.data.frame(firm = rownames(x)[wh3[, 1]],
                       year = colnames(x)[wh3[, 2]], 
                       val = x[wh3])
} 

并将函数应用于每个 3 维；即每个事件：

ret = apply(res, 3, f1)
#ret
ans = cbind.data.frame(event = rep(names(ret), lapply(ret, nrow)), 
                       do.call(rbind.data.frame, apply(res, 3, f1)))
ans
#      event firm year val
#X1       X1    b 1984   1
#X2       X2    b 1984   1
#X3       X3    b 1984   1
#X4       X4    b 1984   1
#X5       X5    b 1984   1
#X6       X6    b 1984   1
#X7       X7    b 1984   1
#X8.1     X8    a 1980   1
#X8.2     X8    b 1980   2
#X8.3     X8    d 1980   1
#X8.4     X8    e 1980   2
#X9       X9    a 1980   2
#X10.1   X10    b 1980   1
#X10.2   X10    c 1980   2
#X10.3   X10    e 1980   1