在循环中分配和释放内存（C + MPI）

Question

请看我下面的代码 sn-p（floatalloc2 用于分配数据类型为 float 的 2D 连续数组，如有兴趣请参阅附录）：

#include <stdio.h>
#include <stdlib.h>
#include <mpi.h>

int main(int argc, char *argv[])
{
float **p=NULL, **buffer=NULL;
int it, nt=3, i, j, k, NP, MYID, nx=1, nz=2, nsrc=3, isrc;

MPI_Init ( &argc, &argv );
MPI_Comm_size ( MPI_COMM_WORLD, &NP );
MPI_Comm_rank ( MPI_COMM_WORLD, &MYID ); 

p = floatalloc2(nx,nz);
memset(p[0],0,nz*nx*sizeof(float));

for (it=0; it<nt; it++){            
    for (isrc=MYID; isrc<nsrc; isrc+=NP){
        for (j=0; j<nz; j++){
            for (i=0; i<nx; i++){
                p[j][i] += 1.5 + (float)(isrc) + (float)(j);                   
            }
        }

    }

    for (k=0;k<nsrc-1;k++){ 
        if (MYID==k){ 
            buffer = floatalloc2(nx,nz); 
            memset(buffer[0],0,nz*nx*sizeof(float));
            buffer = p;   

        }else{                
            buffer = floatalloc2(nx,nz);
            memset(buffer[0],0,nz*nx*sizeof(float));
        }
        MPI_Barrier(MPI_COMM_WORLD);
        MPI_Bcast(&buffer[0][0],nx*nz,MPI_FLOAT,k,MPI_COMM_WORLD);
        MPI_Barrier(MPI_COMM_WORLD);
        for (j=0; j<nz; j++){
            for (i=0; i<nx; i++){
                printf("it=%d,k=%d,Node %d,p[%d][%d]=%f\n",it,k,MYID,j,i,p[j][i]);
            }
        }                        
        free(*buffer);free(buffer); /*w/o this line is ok while not ok with this line */
    }

}

MPI_Finalize();
exit(0);
}

作为一个经验法则，C 会在分配内存后释放内存，即使在循环中也是如此。但是这里，如果我不加free(*buffer);free(buffer);，那就相当不错了。但是，如果使用free，则结果是错误的。那么我的代码有什么问题呢？

floatalloc2 的附录：

/*@out@*/ void *sf_alloc (size_t n, size_t size )
  /*< output-checking allocation >*/
{
void *ptr; 

size *= n;

if (0>=size) sf_error("%s: illegal allocation (%d bytes)",__FILE__,size);

ptr = malloc (size);

if (NULL == ptr)
sf_error ("%s: cannot allocate %lu bytes:", __FILE__,size);

return ptr;
}


/*@out@*/ float *sf_floatalloc (size_t n)
  /*< float allocation >*/ 
{
float *ptr;
ptr = (float*) sf_alloc (n,sizeof(float));
return ptr;
}


/*@out@*/ float **floatalloc2 (size_t n1 , size_t n2 )
/*< float 2-D allocation, out[0] points to a contiguous array >*/ 
{
  size_t i2;
  float **ptr;

  ptr = (float**) sf_alloc (n2,sizeof(float*));
  ptr[0] = sf_floatalloc (n1*n2);
  for (i2=1; i2 < n2; i2++) {
    ptr[i2] = ptr[0]+i2*n1;
  }
  return ptr;
}

Answer 1

假设我们使用float **p = floatalloc2(columns, rows)。然后，p 分配给 rows 浮点指针 (float *)，p[0] 分配给 columns*rows 浮点。如果库不提供floatfree2() 或free2() 函数，您可以使用free(*p); free(p); 按顺序释放为二维数组分配的内存。这也是 OP 正在做的事情。

内循环，

    for (k=0;k<nsrc-1;k++){ 
        if (MYID==k){ 
            buffer = floatalloc2(nx,nz); 
            memset(buffer[0],0,nz*nx*sizeof(float));
            buffer = p;
        }else{                
            buffer = floatalloc2(nx,nz);
            memset(buffer[0],0,nz*nx*sizeof(float));
        }
        ...
        free(*buffer);free(buffer); /*w/o this line is ok while not ok with this line */
    }

buffer = p; 行替换了前两行分配和初始化的二维数组；这本质上是内存泄漏。我想这个想法是将p 的内容复制到它，但我不能确定。

此外，稍后，free(*buffer); free(buffer); 行最终释放了 p 在 k == MYID 迭代中描述的二维数组。

解决这个问题的一种方法是让buffer 在k == MYID 时别名p：

 for (k = 0; k < nsrc-1; k++) { 
    if (MYID == k) {
        buffer = p;
    } else {                
        buffer = floatalloc2(nx,nz);
        memset(buffer[0], 0, nz*nx*sizeof(float));
    }
    ...
    if (buffer != p) {
        free(*buffer);
        free(buffer);
    }
}

这样，当k == MYID，buffer实际上指向p；否则它会为每次迭代动态分配和释放。显然，当buffer 别名p 时，我们不会释放它，因为那样会释放p。

您可以在MPI_Finalize() 之前添加free(*p); free(p);，以释放分配给p 的内存，但这并不是绝对必要的，因为进程无论如何都将退出。 （但是，如果您使用 Valgrind 来查找内存泄漏，或者希望表明您（程序员）确实跟踪动态分配是有用的；在这种情况下，添加注释可能很有用。）

更好的方法是只分配一次缓冲区，然后在每次迭代中重用它：

float **p, **buffer;

p = floatalloc2(nx, nz);
memset(p[0], 0, nz*nx*sizeof p[0][0]);

buffer = floatalloc2(nx, nz);
memset(buffer[0], 0, nz*nx*sizeof buffer[0][0]);

for (it=0; it < nt; it++) {
    for (isrc=MYID; isrc < nsrc; isrc+=NP) {
        for (j=0; j<nz; j++){
            for (i=0; i<nx; i++){
                p[j][i] += 1.5 + (float)(isrc) + (float)(j);                   
            }
        }
    }

    for (k=0; k<nsrc-1; k++) {
        float **data;

        if (MYID == k) {
            data = p;
        } else {
            data = buffer;
            memset(buffer[0], 0, nz*nx*sizeof buffer[0][0]);
        }

        MPI_Barrier(MPI_COMM_WORLD);
        MPI_Bcast(&(data[0][0]), nx*nz, MPI_FLOAT, k, MPI_COMM_WORLD);
        MPI_Barrier(MPI_COMM_WORLD);

        for (j=0; j<nz; j++) {
            for (i=0; i<nx; i++) {
                printf("it=%d,k=%d,Node %d,data[%d][%d]=%f, p[%d][%d]=%f\n",
                       it, k, MYID, j, i, data[j][i], p[j][i]);
            }
        }                        
    }
}

free(*buffer);
free(buffer);

free(*p);
free(p);

请注意，sizeof p[0][0] 和 sizeof buffer[0][0] 是评估 p/buffer 的每个元素的大小（以字符为单位）的语句，并且不实际上检查任何内存.即使p == NULL 或p[0] == NULL，这些都是允许的并且是安全的，因为编译器只是检查表达式的type（在sizeof 运算符的右侧）。为了提醒自己这一点，我从不在 sizeof 运算符右侧的变量引用周围使用括号。 （当你使用一个类型时，比如float，括号是必需的。然后，我把它写成sizeof (float)。）这有助于我记住sizeof是一个运算符，它的行为不像一个函数，尽管它可能看起来像一个函数。

float **data; 只是对p 或buffer 中实际数据的引用（或别名）；我们只需要分配它，data = p; 或data = buffer;。因为它是一个引用或别名，指向完全相同的数据，我们根本不free()它。如果我们这样做了，我们最终只会释放原始数据，p 或 buffer。

---

在对该问题的评论中，我提到使用双重间接（float **data，其中data[row][column] 是一个元素，data[row] 和data 都是指针）不是很有效。在实践中，改为使用结构。例如：

typedef struct {
    int    rows;
    int    cols;
    float *data;
} float2d;
#define  FLOAT2D_INIT  { 0, 0, NULL }

static inline void float2d_alloc(float2d *m, const int rows, const int cols)
{
    do {
        if (!m) {
            fprintf(stderr, "float2d_alloc(): No matrix specified.\n");
            break;
        }

        if (rows < 1 || cols < 1) {
            fprintf(stderr, "float2d_alloc(): Invalid matrix size (%d rows, %d cols).\n", rows, cols);
            break;
        }

        m->data = malloc((size_t)rows * (size_t)cols * sizeof m->data[0]);
        if (!m->data) {
            fprintf(stderr, "float2d_alloc(): Not enough memory available.\n");
            break;
        }

        m->rows = rows;
        m->cols = cols;
        return;

    } while (0);

    /* MPI_Abort(MPI_COMM_WORLD, 1); */
    exit(1);
}

static inline void float2d_free(float2d *m)
{
    if (m) {
        free(m->data);
        m->rows = 0;
        m->cols = 0;
        m->data = NULL;
    }
}

如果您分配了float2d p;，则要访问r 行、c 列上的元素，请使用p.data[r*p.cols + c]。所有数据在内存中都是连续的；有p.cols*p.rows 元素，总大小为p.cols*p.rows*sizeof p.data[0]。要引用行r 上的浮点数组，可以使用p.data + r*p.rows（相当于&(p.data[r*p.rows])）。

如果您对这种方法感兴趣，并且经常使用矩阵（或密集的二维数据数组），您可能希望查看 here 以获得更进一步的结构示例。它基本上允许一个人创建实时视图（引用完全相同的数据）到另一个矩阵的任何规则矩形部分（可以是对角线、子矩阵、一些连续的奇数行、偶数行等），代码保持标签（计算对数据的引用），因此当您销毁作为某些数据最终用户的矩阵时，数据会自动释放。每个元素访问确实需要两次乘法和一次加法，而不仅仅是一次乘法和一次加法，但实际上它的开销可以忽略不计，而矩阵结构的多功能性肯定会平衡这一点。

Answer 2

另一种方法是使用 VLA：

#include <stdio.h>
#include <stdlib.h>

void print_matrix(int nx, int ny, int a[nx][ny])
{
    printf("Printing matrix at %p\n", &a[0][0]);
    for (int i=0; i < nx; i++) {
        printf("%d", a[i][0]);
        for (int j=1; j < ny; j++)
            printf(", %d", a[i][j]);
        printf("\n");
    }
}

int main(int argc, char *argv[])
{
    int nx = 3, nz = 2;

    /* two different syntaxes */
    int (*A)[nx][nz] = malloc(sizeof(int[nx][nz]));
    int (*B)[nz] = malloc(sizeof(int[nx][nz]));

    for (int i = 0; i < nx; i++)
        for (int k = 0; k < nz; k++) {
            (*A)[i][k] = (i+1)*(k+1);
            B[i][k] = (i+1)*(k+1);
        }
    print_matrix(nx, nz, *A);
    print_matrix(nx, nz, B);

    free(A);
    free(B);
}

我强烈推荐这里的免费书籍“Modern C”：https://gustedt.wordpress.com/2016/11/25/modern-c-is-now-feature-complete/