Storm 中的 JPG PDF 文件答案

【问题标题】：JPG PDF Files in StormStorm 中的 JPG PDF 文件
【发布时间】：2015-11-01 14:44:48
【问题描述】：

我想知道是否可以在 Storm 中处理 JPG 文件？如果 JPG 或 PDF 文件在螺栓之间传输，我们是否应该预料到会出现任何问题？我们正在大量处理这些文件，需要一个分布式平台来跟上。

据我了解，消息（希望是文件）进入螺栓之间的内存队列。

有没有人尝试在 Storm 中的螺栓之间传递 JPG 或 PDF 文件？是否有任何限制会阻止它工作？如果不是 Storm，谁能推荐一个合适的平台？

感谢您的帮助！

【问题讨论】：

【解决方案1】：

我从未尝试过这个，但我用大元组做了一些实验，效果很好。我不希望有任何问题。只要您可以提供适当的（反）序列化（最好通过 Kryo），Storm 并不关心它是什么数据。对 Storm 来说，一切都像一堆字节一样被锁定（除了用于fieldsGrouping 的关键属性）。

您也可以查看Apache Flink （免责声明：我是贡献者）

【讨论】：