如何定期向第三方服务发送 Redis 数据？

Question

我需要在我的应用程序中构建某种分析功能。在高峰期，我预计每秒会收到 15K 条新记录。为了速度，我将使用 Redis 进行写入。但是写入的数据应该被格式化并以某种方式发送到 BigQuery for OLAP。最有效的方法是什么？

我可以想到两种方法：

1. 有一个单独的应用程序将连接到同一个应用程序 Redis 实例/集群并定期获取写入的数据 使用他们的 API 批量插入到 BigQuery。
2. 使用 Lua 脚本定期将 Redis 键和值发送到 BigQuery。

就我的阅读和研究而言，Lua 脚本似乎是一个快速的解决方案。但是我没有任何经验，我不知道限制。例如，我可以通过 Redis 运行的 Lua 脚本发送 HTTP API 调用吗？错误处理呢？

问题来了：

你有什么建议来实现我上面提到的需求？

• a) 单独的应用程序
• b) Lua 脚本
• c) 混合
• d) 其他（所以，什么？）

当然，为什么？

谢谢

Answer 1

您是否尝试过 AfterShip BigQuery 流媒体？

• https://github.com/AfterShip/bigquery-streamer

它似乎完全符合您的需要：“这是一个使用流插入模式将 Redis 记录传输到 Google BigQuery 的流媒体。”