如何在 OpenCL 内核中使用 C++ 模板？答案

【问题标题】：How to use C++ templates in OpenCL kernels?如何在 OpenCL 内核中使用 C++ 模板？
【发布时间】：2011-05-26 19:18:04
【问题描述】：

我是 OpenCL 的新手。

我有一个使用模板的算法。它与 OpenMP 并行化配合得很好，但现在数据量已经增长，处理它的唯一方法是重写它以使用 OpenCL。我可以轻松地使用 MPI 为集群构建它，但类似 Tesla 的 GPU 比集群便宜得多:)

有没有办法在 OpenCL 内核中使用 C++ 模板？

是否可以通过 C++ 编译器或某些工具以某种方式扩展模板，然后使用如此更改的内核函数？

编辑。一种变通方法的想法是以某种方式从模板中的 C++ 代码生成与 C99 兼容的代码。

我发现以下关于 Comeau 的信息：

Comeau C++ 4.3.3 是一个完整且真实的编译器，可执行完整的语法检查、完整的语义检查、完整的错误检查和所有其他编译器职责。输入的 C++ 代码被翻译成内部编译器树和符号表，看起来与 C++ 或 C 完全不同。此外，它还会生成内部专有的中间形式。但是，Comeau C++ 4.3.3 没有使用专有的后端代码生成器，而是生成 C 代码作为其输出。除了 C++ 的技术优势之外，Comeau C++ 4.3.3 等产品的 C 生成方面也被吹捧为 C++ 成功的一个原因，因为由于 C 编译器的普遍可用性，它能够被带到大量平台。

C 编译器仅用于且仅用于获得本机代码生成。这意味着 Comeau C++ 专为在各个平台上与特定 C 编译器一起使用而量身定制。请注意，剪裁必须由 Comeau 完成。否则，生成的 C 代码将毫无意义，因为它与特定平台绑定（其中平台至少包括 CPU、操作系统和 C 编译器），而且生成的 C 代码不是独立的。因此，它不能单独使用（请注意，这既是使用 Comeau C++ 时的技术要求，也是法律要求），这就是为什么通常没有选项来查看生成的 C 代码的原因：它几乎总是无用的，而且编译过程，包括它的生成，应该被视为翻译的内部阶段。

【问题讨论】：

我不认为这对于 OpenCL 来说是直接可行的（不像 CUDA，它通过 nvcc 提供了一些模板支持），但我希望被证明是错误的。
AFAIK 这不可能直接，但我希望找到一种解决方法，可能使用编译的某些阶段来生成与 C99 兼容的代码，然后以通常的方式处理。
我现在看到之前有人问过类似的问题，并给出了一些有趣的答案：stackoverflow.com/questions/1139793/…
Wekk，老实说，我在问这个问题之前已经看过它，但是自从那个答案 OpenCL 已经发展起来，可能会出现可以解决问题的产品。同样对我来说，我不清楚如何使用 Comeau 来解决问题，因为我没有那个 TS 那么多的 C++ 背景。
这个帖子很有启发性：gcc.gnu.org/ml/gcc/2009-02/msg00061.html

标签： c++ templates compiler-construction metaprogramming opencl

【解决方案1】：

如果你真的下定决心要完成它，你可以重新选择你的 C++ 编译器来生成 NVidia PTX（而且 Clang 很可能很快就能做到这一点）。但是这样你就可以将你的代码绑定到 NVidia 硬件上。

另一种方法是为 LLVM 实现一个自定义后端，基于当前的 CBE，它将生成纯 OpenCL 代码而不是 C。

【讨论】：

【解决方案2】：

PyOpenCL 现在使用 Mako 作为它的模板引擎。 http://www.makotemplates.org/

【讨论】：

这和 C++ 模板有什么关系？
算法不使用模板，实现使用。鉴于此，以及 C++ 和 OpenCL 在不同方向上扩展 C 的事实（从而确保必须在一定程度上修改 OP 的实现），建议使用已被证明可用于生成 OpenCL 和可以提供类似级别的灵活性。

【解决方案3】：

您可以查看VexCL，它使用表达式模板生成 OpenCL 内核。您可以获得一些关于如何使 OpenCL 与模板完美配合的想法。

另一个正在积极开发的库是Boost.Compute，它是 OpenCL 之上的一个层，允许通用 C++ 代码。

总体思路是或多或少地将内核创建为 C 字符串，然后将其传递给 OpenCL 运行时进行编译和执行。

【讨论】：

【解决方案4】：

有一种用纯 C 语言模拟模板的旧方法。它基于多次包含单个文件（没有包含保护）。由于 OpenCL 具有功能齐全的预处理器并允许包含文件，因此可以使用此技巧。

这里有一个很好的解释： http://arnold.uthar.net/index.php?n=Work.TemplatesC

它仍然比 C++ 模板更混乱：代码必须分成几个部分，并且您必须显式地实例化模板的每个实例。此外，您似乎无法做一些有用的事情，例如将阶乘实现为递归模板。

代码示例

让我们将这个想法应用到 OpenCL。假设我们想通过 Newton-Raphson 迭代计算平方根倒数（通常不是一个好主意）。但是，浮点类型和迭代次数可能会有所不同。

首先，我们需要一个帮助头文件（“templates.h”）：

#ifndef TEMPLATES_H_
#define TEMPLATES_H_

#define CAT(X,Y,Z) X##_##Y##_##Z   //concatenate words
#define TEMPLATE(X,Y,Z) CAT(X,Y,Z)

#endif

然后，我们在“NewtonRaphsonRsqrt.cl”中编写模板函数：

#include "templates.h"

real TEMPLATE(NewtonRaphsonRsqrt, real, iters) (real x, real a) {
    int i;
    for (i = 0; i<iters; i++) {
        x *= ((real)1.5 - (0.5*a)*x*x);
    }
    return x;
}

在您的主 .cl 文件中，按如下方式实例化此模板：

#define real float
#define iters 2
#include "NewtonRaphsonRsqrt.cl"  //defining NewtonRaphsonRsqrt_float_2

#define real double
#define iters 3
#include "NewtonRaphsonRsqrt.cl"  //defining NewtonRaphsonRsqrt_double_3

#define real double
#define iters 4
#include "NewtonRaphsonRsqrt.cl"  //defining NewtonRaphsonRsqrt_double_4

然后可以这样使用：

double prec = TEMPLATE(NewtonRaphsonRsqrt, double, 4) (1.5, 0.5);
float approx = TEMPLATE(NewtonRaphsonRsqrt, float, 2) (1.5, 0.5);

【讨论】：

+1（尽管在帖子中包含对其工作原理的描述会更好）
@jogojapan，我添加了一个代码示例（在 OpenCL 中）。现在答案更加独立了。

【解决方案5】：

我已经编写了一个实验性的 C++ 到 OpenCL C 源代码转换工具。该工具将 C++ 源代码（甚至一些 STL）编译成 LLVM 字节码，并使用 LLVM 'C' 后端的修改版本将字节码反汇编成 OpenCL 'C'。

请看http://dimitri-christodoulou.blogspot.com/2013/12/writing-opencl-kernels-in-c.html

例如，这段使用 C++11 的 std::enable_if 的代码可以转换成 OpenCL 'C' 然后在 GPU 上执行：

#include <type_traits>

template<class T>
T foo(T t, typename std::enable_if<std::is_integral<T>::value >::type* = 0)
{
    return 1;
}

template<class T>
T foo(T t, typename std::enable_if<std::is_floating_point<T>::value >::type* = 0)
{
    return 0;
}

extern "C" void _Kernel_enable_if_int_argument(int* arg0, int* out)
{
    out[0] = foo(arg0[0]);
}

【讨论】：

【解决方案6】：

请注意，新的SYCL Khronos 标准在 OpenCL 中原生支持 C++ 模板。

【讨论】：