存储全站用户活动的有效方式

Question

我尝试在 stackoverflow 上进行搜索以及在谷歌上搜索了很多内容，但无法找到我的问题的答案（我想我正在搜索错误的关键字/术语）。

我们正在构建推荐引擎，虽然我们最初在自定义日志中记录所有用户活动（我们使用 ruby​​ / rails），但我们需要对该文件进行 EOD 扫描并根据用户进行安排.我们还有一些来自其他地方的其他用户数据（他的 fb 活动、推特时间线等），因此通过 EOD，我们希望将特定用户的所有数据保存在某个地方，然后在所有数据上运行我们的分析器代码用于生成推荐的用户数据。

问题是我们正在生成大量数据，虽然目前我们正在使用 mysql 表来存储所有这些数据，但我们不确定我们可以继续这样做多久，因为我们的用户群增长（我们仍在内部测试它，大约有 10 个活跃的用户）。另外，作为热心的开发人员，我们希望尝试一些新的东西来满足我们的需求。

任何指向这个方向的指针都会非常有帮助。

Answer 1

查看Amazon Elastic Map Reduce。它是为这种类型的东西而构建的。