【发布时间】：2015-10-29 01:07:26
【问题描述】：
我正在使用 luigi 作为 hadoop 作业管道。我阅读了示例和文档，但在将作业推送到 hadoop 服务器之前找不到如何调试我的脚本？
具体来说，我需要处理大数据集，运行时间长，我更喜欢在小测试数据集中测试作业，而不是在真实数据集中运行。
【问题讨论】：
标签： luigi
【发布时间】：2015-10-29 01:07:26
【问题描述】：
据我所知，这不是一件小事，因为您要调试的是实际的 Hadoop 集成。也许有一种方法可以模拟或模拟一个 hadoop 系统......或者只是在你的机器上安装一个最小的 hadoop？
我们为集群任务做类似的事情。我们正在通过一种方便的方法执行命令，该方法允许我们通过切换参数的值在本地或通过 HPC 系统之间切换正在运行的命令。如果您有兴趣，可以在这里查看代码： https://github.com/samuell/sciluigi/blob/d403b1d04779fcb9d4d949cd2e554a892c86a67d/sciluigi/slurm.py#L99-L113
【讨论】：
-
干得好！感谢分享！我们使用 luigi 来部署 hadoop 流式作业。在我们更改为 luigi 之前，我们在本地测试我们的脚本，使用系统管道将 mapper 的输出传递给 reducer。我认为类似的方法比我们在几个小时内运行作业然后发现存在错误要好。