如何通过 REST API 从数据库流式传输数据？答案

【问题标题】：How to stream data from database via REST API?如何通过 REST API 从数据库流式传输数据？
【发布时间】：2019-10-29 23:01:46
【问题描述】：

我在 Postres 数据库中存储了大量数据，我需要使用 Django 通过 REST API 将数据发送到客户端。要求是以块的形式发送数据，而不是一次将整个内容加载到内存中。我知道 Django 中有一个 StreamingHttpResponse 类，我将对其进行探索。但是还有其他更好的选择吗？我听说过用于流式应用程序的 Kafka 和 Spark，但我检查过的关于这两个的教程往往涉及流式传输实时数据，例如与 Twitter 数据交互等。但是是否可以使用这两个中的任何一个从数据库中流式传输数据？如果是，那么我如何将它与 REST 集成，以便客户端可以与之交互？任何线索将不胜感激。谢谢。

【问题讨论】：

欢迎使用帖子旁边的复选标记接受答案

标签： database apache-spark apache-kafka django-rest-framework streaming

【解决方案1】：

您可以使用debezium 或apache-kafka-connect 将您的数据库批量加载到Kafka。

一旦有数据，您可以在 Django 应用程序中或外部放置一个 Kafka 消费者，并在使用消息时发出 REST 请求。 Spark 不是完全必要的，也不应该在 Django 中使用

【讨论】：