【问题标题】:Does my MongoDB need Hadoop?我的 MongoDB 需要 Hadoop 吗?
【发布时间】:2014-06-10 22:00:40
【问题描述】:

我对 MongoDB 的使用非常简单。我只有一个副本集并在不使用 Map Reduce 的情况下处理一些基本查询。

我听说 Hadoop 是一个很棒的数据处理工具,一旦连接到 MongoDB 就可以提高性能。它可以很好地处理 Map Reduce,但在我不包含任何 Map Reduce 函数的情况下它有用吗?

另外,如果我在 MongoDB 中使用 Map Reduce 并连接到 Hadoop,性能会如何提升?

【问题讨论】:

  • Hadoop 解决的问题与您所描述的完全不同。您正在处理基本查询 - 除了 MongoDB 本身中可能有更好的索引之外,没有什么能让它更快。 Hadoop 用于离线批处理大量要求很高的计算。
  • @AsyaKamsky 我不确定您所说的离线批处理是什么意思。我已经阅读了一些关于 Hadoop 的注释。它确实处理地图减少。无论如何,您是否建议在我的情况下使用 Hadoop?谢谢。
  • 不,您的用例似乎不需要 Hadoop - 根据定义,如果 OLTP 系统充分处理它,您就不需要批处理系统来“帮助”。

标签: mongodb hadoop mapreduce


【解决方案1】:

Hadoop 适用于批处理和海量数据(GB 到 TB)。 因此,如果您不期望在您的案例中有这么多数据并且您需要查询的即时输出,那么您最好单独使用 mongo 来完成。 Hadoop 对这项工作来说可能有点过头了。

【讨论】:

  • 我的 MongoDB 确实有几个 GB 的存储空间,所以它在获取时会有一点延迟。我正在考虑应用 Hadoop 来改善延迟,但我不确定它是否对我的简单查询和性能提升有好处。
  • 好吧,您可以试一试自己的学习,但延迟小并不意味着批处理模式。 Hadoop 适用于需要更多时间和更多数据量的批处理作业。
  • 你也可以在 mongodb 上看看 hive。
猜你喜欢
  • 1970-01-01
  • 2012-04-08
  • 2021-07-26
  • 2019-02-05
  • 1970-01-01
  • 2013-05-14
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多