【发布时间】:2013-03-04 15:38:51
【问题描述】:
作为 Hadoop 应用程序的新开发人员,我很难掌握 Map/Reduce 或 Oozie 或 Sqoop 工作的无数配置选项。推荐的书籍或网站都没有全面处理这个问题。您将看到更多 Hadoop 生态系统中的任何新工具。我想问了解工作配置选项的最佳方式/资源是什么。
【问题讨论】:
-
如果任何答案解决了您的问题,请单击大复选框接受它作为答案。
标签: hadoop
作为 Hadoop 应用程序的新开发人员,我很难掌握 Map/Reduce 或 Oozie 或 Sqoop 工作的无数配置选项。推荐的书籍或网站都没有全面处理这个问题。您将看到更多 Hadoop 生态系统中的任何新工具。我想问了解工作配置选项的最佳方式/资源是什么。
【问题讨论】:
标签: hadoop
我阅读了 hadoop:权威指南,它对我非常有用。
此外,在阅读任何configuration property in hadoop 时,您必须将其与 hadoop 的相应元素相关联。
就像任何以mapred.map 开头的属性一样,用于设置映射器任务的属性,就像mapred.reduce 用于reducer。
这样你可以很容易地理解和记住属性。
【讨论】:
这里有Hadoop的所有配置:
https://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-common/core-default.xml
此外,如果您想查看当前配置是什么以及它来自哪里,请运行以下命令:
$ hadoop org.apache.hadoop.conf.Configuration
【讨论】: