C++ 线程安全对象缓存的设计选项

Question

我正在为 C++ 中的数据缓存编写模板库，其中可以进行并发读取和并发写入，但不能使用相同的键。该模式可以用以下环境来解释：

1. 用于缓存写入的互斥锁。
2. 缓存中每个键的互斥锁。

这样，如果一个线程从缓存中请求一个键并且不存在，则可以为该唯一键启动锁定计算。与此同时，其他线程可以检索或计算其他键的数据，但尝试访问第一个键的线程会被锁定等待。

主要的约束是：

1. 切勿同时计算键的值。
2. 可以同时计算 2 个不同键的值。
3. 数据检索不能锁定其他线程从其他键检索数据。

我的其他限制但已经解决的是：

1. 固定（在编译时已知）最大缓存大小以及基于 MRU（最近使用）的抖动。
2. 按引用检索（隐含互斥共享计数）

我不确定为每个键使用 1 个互斥锁是实现此目的的正确方法，但我没有找到任何其他实质上不同的方法。

您是否知道实现此功能的其他模式，或者您认为这是一个合适的解决方案？我不喜欢拥有大约 100 个互斥锁的想法。 （缓存大小约为 100 个键）

Answer 1

您想要锁定并且想要等待。因此，某处应该有“条件”（如类 Unix 系统上的pthread_cond_t）。

我建议如下：

• 有一个全局互斥锁，仅用于添加或删除映射中的键。
• 映射将键映射到值，其中值是包装器。每个包装器都包含一个条件和一个可能的值。设置值时会发出条件信号。

当一个线程希望从缓存中获取一个值时，它首先获取全局互斥锁。然后它在地图中查找：

1. 如果该键有一个包装器，并且该包装器包含一个值，则线程有它的值并可能释放全局互斥锁。
2. 如果该键有一个包装器但还没有值，那么这意味着某个其他线程当前正忙于计算该值。然后线程在条件下阻塞，当它完成时被另一个线程唤醒。
3. 如果没有包装器，则线程在映射中注册一个新包装器，然后继续计算值。计算值时，它会设置值并发出条件信号。

在伪代码中是这样的：

mutex_t global_mutex hashmap_t 映射 锁（global_mutex） w = map.get(key) 如果（w == NULL）{ w = 新包装器 map.put（键，w） 解锁（global_mutex） v = 计算值（） 锁（global_mutex） w.set(v) 信号（w.cond） 解锁（global_mutex） 返回 v } 别的 { v = w.get() 而（v == NULL）{ 解锁并等待（global_mutex，w.cond） v = w.get() } 解锁（global_mutex） 返回 v }

在 pthreads 术语中，lock 是 pthread_mutex_lock()，unlock 是 pthread_mutex_unlock()，unlock-and-wait 是 pthread_cond_wait()，signal 是 pthread_cond_signal()。 unlock-and-wait 原子地释放互斥体并将线程标记为等待条件；当线程被唤醒时，互斥锁会自动重新获取。

这意味着每个包装器都必须包含一个条件。这体现了您的各种要求：

• 没有线程长时间持有互斥锁（阻塞或计算值）。
• 当要计算一个值时，只有一个线程执行，其他希望访问该值的线程只是等待它可用。

请注意，当一个线程希望获得一个值并发现其他线程已经在忙于计算它时，线程最终会锁定全局互斥锁两次：一次是在开始时，一次是在值可用时。一个更复杂的解决方案，每个包装器使用一个互斥锁，可以避免第二次锁定，但除非争用非常高，否则我怀疑它是否值得。

关于有许多互斥锁：互斥锁很便宜。互斥体基本上是int，它的成本只不过是用于存储它的四个左右字节的 RAM。注意 Windows 术语：在 Win32 中，我在这里所说的互斥锁被视为“互锁区域”； Win32 在调用CreateMutex() 时创建的东西完全不同，它可以从几个不同的进程中访问，而且由于涉及到内核的往返，所以成本要高得多。请注意，在 Java 中，每个对象实例都包含一个互斥体，Java 开发人员似乎并没有对这个主题过于暴躁。

Answer 2

您可以使用互斥池，而不是为每个资源分配一个互斥锁。当请求读取时，首先检查有问题的插槽。如果它已经标记了一个互斥锁，则阻止该互斥锁。如果不是，则为该插槽分配一个互斥锁并发出信号，将互斥锁从池中取出。一旦互斥体未发出信号，清除插槽并将互斥体返回到池中。

Answer 3

一种更简单的解决方案是在整个缓存上使用单个读取器/写入器锁。鉴于您知道条目的最大数量（并且相对较小），听起来向缓存添加新键是一个“罕见”事件。一般的逻辑是：

acquire read lock
search for key
if found
    use the key
else
    release read lock
    acquire write lock
    add key
    release write lock
    // acquire the read lock again and use it (probably encapsulate in a method)
endif

不了解使用模式的更多信息，我不能确定这是否是一个好的解决方案。不过，它非常简单，如果主要用于读取，则在锁定方面非常便宜。