这是拆分大文件的正确方法吗？

Question

我需要将一个大的图像或文本文件分成多个 10 字节的块。这些块将通过 UDP 发送到服务器。问题是： 1.我不确定这个代码。这是拆分文件的好方法吗？ 2.程序内存使用率很高。 400 KB 仅用于此功能。

int nChunks = 0;
char chunk[10];
FILE *fileToRead;
fileToRead = fopen(DEFAULT_FILENAME, "rb");

while (fgets(chunk, sizeof(chunk), fileToRead)) {
    char *data = malloc(sizeof(chunk));
    strcpy(data, chunk);

    packet *packet = malloc(sizeof(packet));
    packet->header = malloc(sizeof(packetHeader));
    packet->header->acked = 0;
    packet->header->id = ++nChunks;
    packet->header->last = 0;
    packet->header->timestamp = 0;
    packet->header->windowSize = 10;
    packet->data = data;

    list_append(packages, packet);
}


typedef struct packetHeader{
    ...
}packetHeader;

typedef struct packet{
    packetHeader *header;
    void *data;
}packet;

Answer 1

这是分割文件的好方法吗？

当文件由十个字符的文本块组成时，这是可以的；因为在您的情况下，文件是图像，而不是文本，您应该使用 fread 而不是 fgets。

此外，您应该传递sizeof(chunk)，而不是sizeof(chunk)+1 作为大小。否则，fgets 会在程序分配的内存空间末尾写入一个额外的字节。

最后，您不应该使用strcpy 来复制一般数据：请改用memcpy。事实上，如果您在循环内管理缓冲区，则可以完全避免复制，如下所示：

#define CHUNK_SIZE 10
...
// The declaration of chunk is no longer necessary
// char chunk[10];
...
for (;;) {
    char *data = malloc(CHUNK_SIZE);
    size_t len = fread(data, CHUNK_SIZE, 1, fileToRead);
    if (len == 0) {
        free(data);
        break;
    }
    // At this point, the ownership of the "data" can be transferred
    // to packet->data without making an additional copy.
    ...
}

程序内存使用率很高。仅此函数需要 400 KB。

这是因为读取文件比通过 UDP 发送要快得多。这就是为什么程序在发送前几个 UDP 数据包之前设法将整个文件读入内存的原因。您最好在同一个循环中读取和发送，而不是预先将整个数据包列表排队。当您在发送时阅读，该过程中较慢的部分控制着整体进度。这将使您的程序使用它现在使用的一小部分内存空间，因为没有缓冲。