使用 CUDA 并行化使用具有指向指针类型元素的指针的结构的代码答案

【问题标题】：Parallelize code that uses struct having pointer to pointer type elements using CUDA使用 CUDA 并行化使用具有指向指针类型元素的指针的结构的代码
【发布时间】：2013-11-11 05:54:25
【问题描述】：

如果我有一个将结构变量作为输入并操作它的元素的代码，我如何使用 CUDA 并行化它？

void BackpropagateLayer(NET* Net, LAYER* Upper, LAYER* Lower)
{
  INT  i,j;
  REAL Out, Err;

  for (i=1; i<=Lower->Units; i++) {
    Out = Lower->Output[i];
    Err = 0;
    for (j=1; j<=Upper->Units; j++) {
      Err += Upper->Weight[j][i] * Upper->Error[j];
    }
    Lower->Error[i] = Net->Gain * Out * (1-Out) * Err;
  }
}
Where NET and LAYER are structs defined as:
typedef struct {                     /* A LAYER OF A NET:                     */
        INT           Units;         /* - number of units in this layer       */
        REAL*         Output;        /* - output of ith unit                  */
        REAL*         Error;         /* - error term of ith unit              */
        REAL**        Weight;        /* - connection weights to ith unit      */
        REAL**        WeightSave;    /* - saved weights for stopped training  */
        REAL**        dWeight;       /* - last weight deltas for momentum     */
} LAYER;
typedef struct {                     /* A NET:                                */
        LAYER**       Layer;         /* - layers of this net                  */
        LAYER*        InputLayer;    /* - input layer                         */
        LAYER*        OutputLayer;   /* - output layer                        */
        REAL          Alpha;         /* - momentum factor                     */
        REAL          Eta;           /* - learning rate                       */
        REAL          Gain;          /* - gain of sigmoid function            */
        REAL          Error;         /* - total net error                     */
} NET;

我能想到的是首先将 2d Weight 转换为 1d。然后将其发送到内核以获取产品或仅使用 CUBLAS 库。有什么建议吗？

【问题讨论】：

this的可能重复
@SagarMasuti 也许不完全是重复的？他还必须处理传递双指针，我想见cuda 2D array problem？
同意！！或两者兼而有之。
无论如何，在 talonmies 对我链接到的帖子的回答之后，似乎建议将 Weight 展平为线性阵列，正如海报所认为的那样。关于 cuBLAS 的使用，带有反向传播的神经网络训练通常在内部使用 cuBLAS。

标签： c pointers cuda gpgpu gpu

【解决方案1】：

如果您正在实现自己的神经网络库，那么对于简单的情况（具有完全连接或稀疏层的网络），我强烈建议使用 CUBLAS/CUSPARSE。在这种情况下，所有 3 个基本的线性运算都可以通过调用这些库来优雅地表达：

前馈：gemm（如果 mini-batch 大小 > 1，则为 gem）
后退道具：gemv（如果 mini-batch size > 1 则为gemm），带有适当的转置标志。
权重更新：ger（如果 mini-batch size > 1，则为 gem）。

Momentum 可以使用 3 个基本操作（或单独的内核以获得更好的性能）来表示。当你超越基本的东西并开始添加卷积层等东西时，事情会变得更加有趣。在神经网络中，你有大量的超参数，所以我建议你看看一些现有的实现如何设计你的库（比如convnet）。

【讨论】：