【问题标题】:Include map and reduce in written in C/OpenCL in hadoop在 hadoop 中包含用 C/OpenCL 编写的 map 和 reduce
【发布时间】:2026-01-04 14:15:02
【问题描述】:

我在 OpenCL 内核中编写了自己的 map 和 reduce 函数代码。 MapReduce 的一般场景,基本上是集成在 Hadoop 中,而 Hadoop 本身是用 java 编写的。

如何在多节点集群上的 hadoop 中使用我自己用 C/OpenCL 编写的 map-reduce 代码?

我之前已经问过这类问题,但没有得到任何回应。任何教程链接都会很有用。

我愿意自己阅读,只是找不到与此相关的任何资源。任何形式的帮助将不胜感激。感谢您的时间和关注。

【问题讨论】:

标签: mapreduce opencl gpgpu gpu hadoop-streaming


【解决方案1】:

HDFS 是一个文件系统;您可以使用任何语言的 HDFS 文件系统。

HDFS 数据分布在多台机器上,在 GPU 计算中处理数据的可用性很高。

更多信息参考Hadoop Streaming

【讨论】: