在 future.apply::future_lapply 中使用 tryCatch 处理异常答案

【问题标题】：Handling exceptions using tryCatch inside future.apply::future_lapply在 future.apply::future_lapply 中使用 tryCatch 处理异常
【发布时间】：2021-05-11 00:04:11
【问题描述】：

我想重新尝试使用tryCatch 获取失败的readLines。只要我不将其包装在 future.apply::future_lapply 调用中以处理列表或向量，这将按预期工作。

可以使用以下代码重现问题：

read_lines_retrying <- function(url, attempts = 5, throttle = 5) {
    result <- NA
    while (is.na(result) && 0 < attempts) {
        attempts <- attempts - 1
        result <- tryCatch(
            {
                readLines(url)
            },
            error = function(cond) {
                message("caught error:")
                message(cond)
                message("")
                Sys.sleep(throttle)
                return(NA)
            }
        )
    }
    if (is.na(result)) {
        stop(paste("could not get URL ", url))
    }
    return(result)
}

urls <- c("http://nonexistant.nonexistant")

future.apply::future_lapply(urls, read_lines_retrying)

当然，代码是为了在短暂的readLines 失败时重试，而示例 URL 总是会失败，但这种方式最容易看出问题。当使用 lapply 而不是 future.apply::future_lapply 时，至少需要 5 秒才能完成，因为它在 5 次尝试中的每一次之后等待 5 秒。 future.apply::future_lapply 不是这种情况，表明异常处理不起作用。

我做错了什么，如何让tryCatch 在future.apply::future_lapply 内部工作？

【问题讨论】：

正如我在下面的回答中所解释的，在这里使用message(cond) 是不正确的。输出错误信息的正确方法是使用message(conditionMessage(cond))。

标签： r r-future

【解决方案1】：

futureverse 的作者在这里：这是一个有趣的问题。

这是一个可重现的最小示例：

boom <- function(x) {
  tryCatch(stop("boom"), error = function(cond) {
    message(1); message(cond); message(2)
  })
}  

y <- lapply(1L, FUN = boom)
## 1
## boom2

y <- future.apply::future_lapply(1L, FUN = boom)
## 1
## Error in doTryCatch(return(expr), name, parentenv, handler) : boom

我们甚至可以用单独的期货重现这一点：

> y <- boom(1)
## 1
## boom2

> f <- future::future(boom(1))
> y <- future::value(f)
## 1
## Error in doTryCatch(return(expr), name, parentenv, handler) ## : boom

首先，事实证明是message(cond) 触发了这种奇怪的行为。例如，如果您改为使用 message(conditionMessage(cond))，则效果很好。

更新 2022-03-01：在 R-devel 上询问此问题后（线程 'message() 和 warning() 规避调用处理程序并向原始类发出信号，例如错误'在 2022-03-01 (@987654321 @))，我得出结论，使用 message(e) 其中e 是错误条件是不正确的，并且应该使用message(conditionMessage(e))。

技术细节如下：

发生的情况是message(cond) 最终重新发出捕获的错误信号 (= cond)。而且，尽管message() 在内部消除了错误信号，但事实证明，未来仍然会检测到它并将其视为确定的错误。

我有预感可能会发生什么，但我不能保证快速解决。我现在在https://github.com/HenrikBengtsson/future/issues/507 跟踪这个。在解决之前，解决方法是：“避免重新发送刚刚捕获的错误信号”，即不要在出现错误情况时调用 message(cond) 或 warning(cond)。

非常感谢您报告这个重要问题。

PS。请考虑 https://github.com/HenrikBengtsson/future/discussions 以供将来讨论，因为我只是偶尔略读 StackOverflow。

【讨论】：