【问题标题】:Apache Hadoop Configuration OptionsApache Hadoop 配置选项
【发布时间】:2013-03-04 15:38:51
【问题描述】:

作为 Hadoop 应用程序的新开发人员,我很难掌握 Map/ReduceOozieSqoop 工作的无数配置选项。推荐的书籍或网站都没有全面处理这个问题。您将看到更多 Hadoop 生态系统中的任何新工具。我想问了解工作配置选项的最佳方式/资源是什么。

【问题讨论】:

  • 如果任何答案解决了您的问题,请单击大复选框接受它作为答案。

标签: hadoop


【解决方案1】:

我阅读了 hadoop:权威指南,它对我非常有用。

此外,在阅读任何configuration property in hadoop 时,您必须将其与 hadoop 的相应元素相关联。

就像任何以mapred.map 开头的属性一样,用于设置映射器任务的属性,就像mapred.reduce 用于reducer。

这样你可以很容易地理解和记住属性。

【讨论】:

    【解决方案2】:

    这里有Hadoop的所有配置:

    https://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-common/core-default.xml

    此外,如果您想查看当前配置是什么以及它来自哪里,请运行以下命令:

    $ hadoop org.apache.hadoop.conf.Configuration
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2011-01-20
      • 2014-01-08
      • 1970-01-01
      • 2010-12-31
      • 2021-06-12
      • 2020-01-09
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多