将数据从 BigQuery 加载到 Redis

Question

我正在尝试将数据从 BigQuery 加载到 Redis，在过去 3 天浏览了他们的文档后，我转向 SO，因为我没有发现任何具体的内容。那么，将多个查询的结果（每个大约几百条记录）从 BigQuery 加载到 Redis 中的好方法是什么？是否有任何代码示例至少显示如何将结果集转换为适合加载到 Redis 的键值对？我想用 Python 来实现这个管道。请帮忙。谢谢！

编辑：我们有一些数据集想要推送到 Redis，这样当用户运行查询时，它运行的是 Redis，而不是 BigQuery。我有一个 sn-p 将数据从查询中提取到 Python 中的数据框中。我一直无法找到用于加载这些数据的代码 sn-ps，甚至无法将其转换为键值对以便在 Redis 中使用。这是我需要帮助的部分。

Answer 1

1. 将 BigQuery 表作为新行分隔的 JSON 导出到 GCS 存储桶
2. 使用由 GCS 对象更改触发的 Google Cloud Function 在 JSON 文件更改时读取它
3. 将无服务器 VPC 连接器附加到 Google Cloud Function，以便它可以运行 Redis 客户端。然后它可以将文件的竞争写入 Redis。

我结束了在 BigQuery 行中使用 Redis 键，但这些细节您可以自己弄清楚。我在这里写了一篇完整的博客https://www.futurice.com/blog/bigquery-to-memorystore