如何编写 Kafka 连接器以与 Facebook API 集成？

Question

我正在尝试编写一个 Kafka 连接器 来从 facebook 获取数据。问题是，

1. 如何在不超过 facebook 提供的 API hit 限制的情况下通过他们的 API 从 facebook 获取数据？连接器应在特定时间间隔后调用 facebook API 获取数据，以免点击次数超过。

2. 每个用户都可以使用他们的访问令牌访问 facebook API，这样用户就不能共享同一个主题分区。那么如何处理这种情况。我们必须为每个用户创建一个分区吗？

我阅读了一些指南和博客来了解 Kafka 连接并编写连接器。

融合-https://docs.confluent.io/current/connect/index.html

Kafka 文档- https://kafka.apache.org/documentation/#connect

从概念上讲，它让我了解了什么是 Kafka 连接，它是如何工作的，以及编写 Kafka 连接器的重要类是什么。但是，我仍然对如何编写和运行连接器感到困惑。我试图找到一步一步的开发指南，但没有得到。

任何教程或 pdf 如果您能建议哪些有详细的分步开发指南来编写和运行 Kafka 连接器。

Answer 1

唯一的“官方指南”在您拥有的那些链接中

https://docs.confluent.io/current/connect/devguide.html#developing-a-simple-connector

我个人没有使用 Facebook API 的经验，但我认为它使用 REST，因此您可以从分叉 kafka-connect-rest 项目开始，但不超过限制的最简单答案是发送的请求数不超过您可以在给定的时间段内 (add a timer to the code that waits between requests)

此外，一个连接器将只有一组访问密钥。如何创建ConnectRecord 对象以最终对记录进行分区取决于您，但我认为每个用户都拥有一个访问密钥不会很好地扩展。将一个密钥绑定到一个应用程序可能更有意义，然后每个用户都会接受该应用程序有权从他们的帐户中读取某些详细信息。