Hadoop 将图像拆分为小块以进行分割过程

Question

我想用Hadoop处理大尺度图像的分割（Pleiades图像tif格式）

想法是将图像分割成图块并将它们分发到每个节点。

地图任务将是分割过程。我使用 C++ 编写的 OTB 库开发了分割算法。

我创建了一个 otb 应用程序，它可以通过提供瓦片的路径从 java 程序启动，它返回分段的瓦片。

我真的不知道如何实现拆分机制，我必须自定义 fileInputFormat 类和 RecorReader 类但是输入键和输入值的类型。

实际上我必须得到要分割的图块的路径...

如果有人有建议？

最好的问候，

Answer 1

解决方案策略可能取决于图像的数量和大小的多样性。 如果您有很多图像（比集群中的空闲映射器插槽数量多得多），您可能会考虑使用 StreamInputFormat 处理映射器内部的每个图像并使用您的分割算法。否则你可能需要实现你自己的 InputFormat 来形成正确的 InputSplits。