存储一系列未知大小的值的最有效方法是什么？

Question

我有一个生成 size_t 值的函数（例如，名为 next_entity）。该函数充当生成器，即在每次调用时生成一个新值，最后返回 0 作为标记。

在另一个调用next_entity 的函数中，我需要将值存储在某处。在收到哨兵之前我不知道值的数量，所以我不能malloc 或在它们到来之前静态分配一个数组来包含这些值。

问题是，在哨兵到来之后，我唯一需要对值做的就是将它们保存到文件中，但不能重复，即每个值只能出现一次。

之后，不再需要这些值。

我尝试在迭代期间使用glib.h 中的GHashTable 将值存储为键，但GHashTable 的问题是传递给函数 g_hash_table_insert 的键的指针必须在迭代期间保持活动状态哈希表的生命周期，所以我必须为每个新值做malloc(sizeof(size_t))。

它可以工作，但似乎效率很低，因为malloc 很耗时。

有没有更好的方法来做到这一点？

如果需要，我可以发布真实代码，但我不认为问题出在代码上。

任何帮助将不胜感激，在此先感谢您！

Answer 1

如果您的数据大小不是千兆字节，您可以使用动态数组，每次空间不足时，您都会使用realloc()ing 将其大小翻倍。使用此策略只需进行 log(N) 次重新分配。

例如，在 C++ 中，很多 std::vector 实现通常就是这样做的。

Answer 2

其他人建议重新分配。取而代之的是，考虑使用 malloced 块的链表，其中每个块包含一个较大的数字数组；当你填满一个块时，分配另一个块并将前一个链接到它......或者将它链接到前一个块，然后在输出它们之前反转列表。关键是您不需要将值存储在连续内存中，因此您不需要使用 realloc。 realloc 复制前一个数组，您可以避免这种情况，并且对于非常大的数组来说这会很慢，如果找不到足够大的连续块，它甚至可能会耗尽内存，而分配单个块则更有弹性。缺点是管理链表需要更多的工作。

==== 编辑 GHashTable 用法：

将您的值存储到数组中并将该元素的地址传递给哈希例程......如果它不存在，则推进数组指针。要输出值，只需从哈希表中枚举键。仅在解除分配它们时才需要数组的链表。如果这就是程序所做的全部，那么你甚至不需要维护一个链表；您可以根据需要分配数组，当您的程序退出时，它们都会被释放。

Answer 3

哈希表中的键是 void*，并且 void* 始终至少与 size_t 一样大。

您需要做的就是，使用 g_hash_table_new(NULL,NULL) 代替 malloc(sizeof(size_t)) 来使用 g_direct_hash 作为哈希方法。然后这样做：

g_hash_table_replace(table, GSIZE_TO_POINTER(value), GSIZE_TO_POINTER(value))

要遍历键，请使用 GPOINTER_TO_SIZE 返回 size_t。

您始终可以对任何整数类型执行此操作，而不是对其进行 malloc'ing。 （适当时使用 GINT_TO_POINTER、GUINT_TO_POINTER，而不是 GSIZE_TO_POINTER）

Answer 4

通常的方法是将使用的空间乘以一个常数 (2, 1.69, 1.618, 1.5, ...)。

我喜欢黄金比例:)

arr = malloc(elems * sizeof *arr);
{
    /* ... */
    elems = elems * 13 / 8; /* approximate golden ratio */
    tmparr = realloc(arr, elems * sizeof *arr);
    if (tmparr == NULL) /* deal with error */;
    arr = tmparr;
    /* ... */
}
free(arr);