将 Hive 转换为 spark

Question

我有一个项目，它有 hive 脚本来每天处理 hadoop 数据。
我想将 hive 更改为 spark 以每小时处理或实时处理。
将 hive 脚本转换为 spark 的最佳方法是什么？

Answer 1

您几乎不需要进行任何转换。 Spark 运行与 Hive 完全相同的 sql 语法。或者你可以make Hive run Spark executions

使用 Oozie 或 cron 来安排每小时间隔。不要为此使用 Spark Streaming