【问题标题】:Real-time or Near real-time analytics application design considerations实时或近实时分析应用程序设计注意事项
【发布时间】:2012-11-18 11:19:57
【问题描述】:

我正在设计和实施一个(近乎)实时的网络分析引擎。这类似于Google AnalyticsChartBeat。预计每天有近 1.5 亿个请求。我们有 5 到 8 台机器,每台机器配备 2.5GHz(8 核)CPU 和 16 GB RAM。

我正在寻找满足此要求的水平可扩展解决方案。目前,我正在为此目的分析 mongo-hadoop 组合。从我到现在的理解是,很难将所有数据保存在一个地方(一台机器)进行分析。因此,Hadoop 作为数据处理器和 MongoDB 作为数据存储在我看来是一个很好的组合。

这种应用程序是否有标准或(我应该说)经过验证的架构?我应该考虑哪些设计因素? mongo-hadoop 组合对某人有用吗?

【问题讨论】:

  • Hadoop 和实时?不,没听说过。

标签: mongodb hadoop analytics near-real-time bigdata


【解决方案1】:

我假设你已经读过这篇文章了?

http://www.mongodb.org/display/DOCS/Hadoop+Quick+Start

关于分片配置的更多细节和工作示例在这里 - http://www.slideshare.net/spf13/mongodb-and-hadoop

【讨论】:

  • 是的,我已阅读文档。但这并没有提到适配器是否也适用于分片配置。我正在寻找比简短示例更多的细节。
  • 是的,它确实适用于分片配置。这里有很好的演示示例 - slideshare.net/spf13/mongodb-and-hadoop
猜你喜欢
  • 2011-01-15
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2012-11-29
  • 1970-01-01
  • 2011-05-05
相关资源
最近更新 更多