【发布时间】：2011-02-26 14:42:33
【问题描述】：
我正在开始一个新的 Hadoop 项目，该项目将有多个 hadoop 作业（因此有多个 jar 文件）。使用 mercurial 进行源代码控制，我想知道组织存储库结构的最佳方式是什么？每个作业应该放在单独的仓库中，还是将它们保存在相同的仓库中但分解为文件夹会更有效？
【问题讨论】：
标签： mercurial repository hadoop organization
【发布时间】：2011-02-26 14:42:33
【问题描述】：
如果您正在流水线化 Hadoop 作业（一个的输出是另一个的输入），我发现最好将大部分作业保存在同一个存储库中，因为我倾向于生成许多可以使用的常用方法在各种 MR 工作中。
就我个人而言，我将流式作业与我更传统的作业分开保存在一个单独的存储库中，因为通常没有依赖关系。
您是否打算使用 DistributedCache 或流式作业？您可能需要一个单独的目录来存放您分发的文件。每个 Hadoop 作业真的需要一个 JAR 吗？我发现我没有。
如果您提供有关您计划使用 Hadoop 做什么的更多详细信息，我可以看到我还有什么建议。
【讨论】：
-
谢谢埃里克。我还没有计划做任何工作流（将来可能会到达那里，但还没有）。项目还很年轻，而且还在不断发展，所以我很好奇如何布局一个能够适应项目进一步发展的良好基础。