在 python 中跨实例缓存大型数据结构，同时维护类型

Question

我希望在 python 中使用分布式缓存。我有一个 fastApi 应用程序，并希望每个实例都可以访问相同的数据，因为我们的负载均衡器可能会以不同的方式路由传入的请求。问题是我正在存储/编辑有关箭头羽毛文件中相对较大的数据集的信息，并使用 Vaex 处理它。羽化文件会自动加载正确的数据类型。我需要存储的数据结构将使用用户 ID 作为键，值将是一个大数组数组。我已经将 memcache 和 redis 视为可能的缓存解决方案，但两者似乎都将条目存储为字符串/简单值。我希望避免对大量数据进行解析字符串和额外处理。是否有一种分布式缓存策略可以让我持久化类型？

我们提出的一个解决方案是将数据存储在多个羽毛文件中的目录中，该目录可供应用程序的所有实例访问，但这似乎很混乱，因为您需要在每次会话后清理/删除文件.

Answer 1

Redis 'strings' 实际上能够存储任意二进制数据，它不限于实际的字符串。来自https://redis.io/topics/data-types：

Redis 字符串是二进制安全的，这意味着 Redis 字符串可以包含任何类型的数据，例如 JPEG 图像或序列化的 Ruby 对象。 字符串值的最大长度为 512 兆字节。

另一种选择是使用 Flatbuffers，它是一种序列化协议，专门设计用于允许读取/写入序列化对象无需昂贵的反序列化。

虽然我建议重新考虑将大型复杂数据结构存储为缓存值。缺点是任何更改都将导致必须在缓存中重写整个内容，这可能会变得昂贵，因此如果可能，请考虑将其分解为更小的 k/v 对。您可以使用 Redis Hash 数据类型来简化实现。