在 R 中查找非零值和这些值的频率

Question

我有一个数据，它有两个参数，它们是数据/时间和流量。流量数据为间歇流量。假设有时流量为零，突然流量开始，一段时间内会有非零值，然后流量将再次为零。我想了解非零值何时出现以及每个非零流持续多长时间。我已在此位置附加示例数据集https://www.dropbox.com/s/ef1411dq4gyg0cm/sampledataflow.csv

数据为 1 分钟数据。

我能够将数据导入 R，如下所示：

   flow <- read.csv("sampledataflow.csv")
summary(flow)
names(flow) <- c("Date","discharge")
flow$Date <- strptime(flow$Date, format="%m/%d/%Y %H:%M")
sapply(flow,class)
plot(flow$Date, flow$discharge,type="l")

我绘制了图表来查看分布，但无法找到从哪里开始获取每个非零值的频率的线索。我希望看到如下输出表：

Date    Duration in Minutes

如果我在这里不清楚，请告诉我。谢谢。

其他信息：

我认为我们需要先检查非零值，然后在它再次达到零值之前连续找到多少个非零值。我想了解的是流量释放持续时间。例如。一天之内可能会有多个版本，我想指出版本是从什么时间开始的，以及它在达到零值之前持续了多长时间。我希望这能更好地解释这个问题。

Answer 1

第一点是你的数据中有太多NA。如果你想调查一下。 如果我理解正确，您需要每个日期的连续 0 计数，后跟连续非零、零、非零等。

这当然可以通过rle 来实现，@mnel 在 cmets 下也提到过。但是有不少问题。

首先，我将使用非 NA 条目设置数据：

flow <- read.csv("~/Downloads/sampledataflow.csv")
names(flow) <- c("Date","discharge")
flow <- flow[1:33119, ] # remove NA entries

# format Date to POSIXct to play nice with data.table
flow$Date <- as.POSIXct(flow$Date, format="%m/%d/%Y %H:%M")

接下来，我将创建一个Date 列：

flow$g1 <- as.Date(flow$Date)

最后，我更喜欢使用data.table。所以这里有一个使用它的解决方案。

# load package, get data as data.table and set key
require(data.table)
flow.dt <- data.table(flow)
# set key to both "Date" and "g1" (even though, just we'll use just g1)
# to make sure that the order of rows are not changed (during sort)
setkey(flow.dt, "Date", "g1") 
# group by g1 and set data to TRUE/FALSE by equating to 0 and get rle lengths
out <- flow.dt[, list(duration = rle(discharge == 0)$lengths, 
        val = rle(discharge == 0)$values + 1), by=g1][val == 2, val := 0]

> out # just to show a few first and last entries

#              g1 duration val
#   1: 2010-05-31      120   0
#   2: 2010-06-01      722   0
#   3: 2010-06-01      138   1
#   4: 2010-06-01       32   0
#   5: 2010-06-01       79   1
#  ---                        
#  98: 2010-06-22      291   1
#  99: 2010-06-22      423   0
# 100: 2010-06-23      664   0
# 101: 2010-06-23      278   1
# 102: 2010-06-23      379   0

因此，例如，对于2010-06-01，有 722 个0's，然后是 138 个non-zeros，然后是 32 个0's，然后是 79 个non-zeros，依此类推...

Answer 2

我看了前两天的一个小样本

> do.call( cbind,  tapply(flow$discharge, as.Date(flow$Date), function(x) table(x > 0) ) )
      2010-06-01 2010-06-02
FALSE       1223        911
TRUE         217        529    # these are the cumulative daily durations of positive flow.

你可能希望这个转置，在这种情况下 t() 函数应该成功。或者你可以使用 rbind。

如果您只需要正数分钟数，这也可以：

 tapply(flow$discharge, as.Date(flow$Date), function(x) sum(x > 0, na.rm=TRUE)  ) 
#--------
2010-06-01 2010-06-02 2010-06-03 2010-06-04 2010-06-05 2010-06-06 2010-06-07 2010-06-08 
       217        529        417        463          0          0        263        220 
2010-06-09 2010-06-10 2010-06-11 2010-06-12 2010-06-13 2010-06-14 2010-06-15 2010-06-16 
       244        219        287        234         31        245        311        324 
2010-06-17 2010-06-18 2010-06-19 2010-06-20 2010-06-21 2010-06-22 2010-06-23 2010-06-24 
       299        305        124        129        295        296        278          0 

要获得放电值大于零的间隔长度：

tapply(flow$discharge, as.Date(flow$Date), function(x) rle(x>0)$lengths[rle(x>0)$values]  )
#--------
$`2010-06-01`
[1] 138  79

$`2010-06-02`
[1]  95 195 239

$`2010-06-03`
[1]  57 360

$`2010-06-04`
[1]   6 457

$`2010-06-05`
integer(0)

$`2010-06-06`
integer(0)

... Snipped output

如果您想查看这些持续时间的分布，您需要取消列出该结果。 （请记住，在午夜分割的持续时间可能会影响计数和持续时间。）如果您只想要不带日期的持续时间，请使用：

flowrle <- rle(flow$discharge>0)
flowrle$lengths[!is.na(flowrle$values) & flowrle$values]
#----------
 [1] 138  79  95 195 296 360   6 457 263  17 203  79  80  85  30 189  17 270 127 107  31   1
[23]   2   1 241 311 229  13  82 299 305   3 121 129 295   3   2 291 278