【问题标题】:Map Reduce with HIVE使用 HIVE 减少映射
【发布时间】:2016-01-22 05:30:08
【问题描述】:

我有 4 个 CSV 文件形式的不同数据集,其中的公共字段是 ID。我必须使用 Join 来实现。为了实现这个更好的 Map Reduce 或 HIVE 概念,是否可以将 Map Reduce 和 HIVE 结合起来

非常感谢。

【问题讨论】:

    标签: hadoop dictionary hive reduce


    【解决方案1】:

    Hive 将 Hive 查询转换为一系列 MapReduce 作业以模拟查询的行为。虽然 Hive 非常有用,但将业务逻辑表示为 Hive 查询并不总是有效的。

    如果您对性能延迟和要加入的大型数据集感到满意,您可以选择 HIVE。

    如果您的数据集较小,您仍然可以使用 Map Reduce Joins分布式缓存

    查看Map Reduce Joins 文章。

    【讨论】:

    • 非常感谢您的回复
    【解决方案2】:

    在大多数情况下,Map ReduceHive 相比,对于任何用例都会提供更好的性能和控制。必须在更好地理解用例的情况下编写代码。

    是的,Map ReduceHive 可以结合使用。

    【讨论】:

      猜你喜欢
      • 2013-02-06
      • 1970-01-01
      • 2015-06-14
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-05-21
      • 2012-11-11
      • 2012-06-04
      相关资源
      最近更新 更多