在 Spark 中运行现有的生产 Java 应用程序

Question

我一直在阅读 Spark，并且对跨可扩展计算集群分配计算的能力非常感兴趣。我们有处理 AMQP 消息处理的生产流处理代码（用 Java 9 编写的 5K 行），我们希望在 Spark 集群中运行。
但是，我觉得我一定误解了 Spark 的基本前提。一方面，它运行 Java，我们应该能够用它运行我们的应用程序，但另一方面（从文档中）似乎（从文档中）所有代码都必须重写为 Spark API（使用 Dataframes/Datasets）。这是真的？ Java 应用程序能否按原样与 Spark 一起使用，还是必须重写？这对我们来说似乎是一个主要限制，或者更确切地说是一个阻碍。

我认为，理想情况下，我们希望使用 Spark 来处理高级消息路由（使用结构化流 API），这会将消息传递给我们的 Java 应用程序来处理计算、数据库写入等。我们的代码是单类接口，Spark 可以将消息映射到该类实例。因此，可能会有很多很多实例在每个机器实例内并行处理消息并分布在整个集群中。

我错过了什么吗？

Answer 1

对于您的问题Java 应用程序能否按原样与 Spark 一起使用，还是必须重写？

是的，你得重写数据交互层。

spark 以 rdd/dataframe 的形式读取源数据，在您的情况下是流式 Dataframes/Datasets。

Spark 并行处理/作业调度基于这些数据集/数据帧

Dataframes/dataset 相当于一个 Array，在多个节点上存储数据。

所以如果你在 java 中有一个迭代列表并写入文件的逻辑

conn=openFile(..)
Array[value].foreach{
  value-> {
  updatedValue=/**your business logic on the value**/
  conn.write(updatedValue)
  }
}

在 spark 中你必须处理数据帧

dataframe[value].map{ value->
        updatedValue =/**your business logic on the value**/  <-- reuse your logic here
      }.saveToFile(/**file path**/)

希望你能看到区别，你可以重用你的业务逻辑， 但火花必须处理数据流读/写（推荐）。