将 Facebook、Instagram、Twitter 等社交媒体数据加载到 Data HUB marklogic 中

Question

寻找一种简单的方法将社交媒体数据从 Facebook、Instagram 和 Twitter 加载到 Marklogic 的数据中心。

我可以想象，将社交媒体数据存储到 HDFS 中，然后存储到 MarkLogic 中将是处理大量数据的一种方式。使用 MLCP。 如果有任何来源社交媒体数据并创建到 MarkLogic 的流，我确实检查了 Apache NIFI。但是没有任何直接连接到 Facebook 或 Insta 的只有 Twitter。

主要目标：按主题、评级等其他搜索条件从社交顺序中查找所有食物、运动、赛车信息 .. 交付 来源、文档、图片和文字信息

Answer 1

这里的挑战是从社交媒体平台获取它，而不是实际将其导入 MarkLogic。我建议您继续在谷歌上搜索如何使用 NiFi 来获取该数据——很可能已经完成。一旦你得到它，只需发送到PutMarkLogic 处理器，你的状态就很好了。

例如，我很快就发现了这个：https://github.com/iheb-boughzala/AllFbPostsUsingNifi。我没有详细研究过这个，但看起来你只需要用PutMarkLogic 替换PutHDFS 处理器。