【发布时间】:2012-06-19 08:09:17
【问题描述】:
上下文:我想编写烫伤作业(hadoop)来抓取页面,我想设置 url 提取超时(在 URLConnection 上没有超时,我想要其他超时情况的通用解决方案) 即地图功能。
我正在考虑在一些超时后被杀死的期货,所有资源都被释放,因为它是内存关键代码。不确定在 scala API 中使用什么。
【问题讨论】:
-
您可以使用 akka 期货,但它们会在超时时抛出异常,这可能是也可能不是您正在寻找的 doc.akka.io/docs/akka/2.0.1/scala/futures.html
-
我更喜欢在 scala API 中构建,因为任何新的依赖项都是 hadoop jar 的痛苦。
-
这不是重复的,但我问了一个类似的问题:stackoverflow.com/questions/7651293/computation-with-time-limit 也许其中一个答案会对您有所帮助。
标签: scala hadoop timeout futuretask cascading