如何将 Hadoop 文件系统与 OpenCL/GPU 代码相结合

Question

With reference to my previous question

我的疑问是如何用其他语言配置 HDFS。无法找到合适的教程将 HDFS 与 opencl/cuda 代码结合起来。我在 opencl 中为 Map 和 Reduce 编写了自己的代码。 Map 和 Reduce 函数都是 GPU 的内核函数。现在我想在多个节点上使用 HDFS 来实现我的代码。

请告诉我在 HADOOP 框架下实现 GPU/OpenCL 代码的教程。先感谢您。

注意：我不想使用 APARAPI/JavaCL。

Answer 1

HDFS 是一个文件系统；您可以使用任何语言的 HDFS 文件系统。

HDFS 数据分布在多台机器上，在 GPU 计算中处理数据的可用性很高。

更多信息参考Hadoop Streaming