【发布时间】:2015-10-18 05:31:51
【问题描述】:
目前我有一个shiny 网络应用程序,它可以对内存中加载的 3GB 数据帧进行一些计算。
现在,我不需要在 shiny 网络应用程序上实现此功能,而是需要将其作为一个安静的服务,将其计算传输到 JSON 格式的另一个应用程序,以便人们可以通过发送带有类似 url 的 http 请求来使用它http://my-app.com/function
我现在正在尝试opencpu,但我不太明白如何加载大数据并将其保存在内存中,以便我可以使用opencpu 的api 来调用包中的函数来进行计算,而不是每次发送http请求时都从磁盘加载大数据。
一种解决方法可能是使用hbase 作为内存数据库并使用rhbase 加载数据。但在我花时间学习它之前,我想知道它是否是 3GB data.frame 的合理选择,因为它可能会在序列化和其他抵消其速度优势的东西中增加更多开销。
实现此功能的更好方法是什么?也欢迎使用opencpu以外的包的解决方案,最好是免费的。
【问题讨论】:
标签: json r hbase shiny opencpu