curl::curl_fetch_memory(url, handle = handle) 中的错误：已达到超时：发送失败：连接已重置

Question

我正在尝试从 Youtube API 的 5000 个视频中提取 cmets。 当我下载 5 个或更多视频时，我的代码运行良好，但是当我插入我想要的整个视频列表时，运行几个小时后它会引发以下错误。我不确定这意味着什么，或者它是否是内存问题。谢谢！

R 中的代码行：

 comments_1 <- CollectDataYoutube(video1,key,writeToFile = FALSE)

video1：是我拥有的 5000 个视频代码的列表，以便 API 直接从中提取 cmets。

key: 是我存储在对象中的 API 密钥

错误信息：

curl::curl_fetch_memory(url, handle = handle) 中的错误： 已达到超时：发送失败：连接已重置

Answer 1

RCurl 只能在很长时间内保持打开互联网连接以流式传输数据。这是互联网延迟问题，而不是内存问题。您最好将您的请求以较小的批次进行批处理，然后将它们组合起来。