【问题标题】:Apache spark implementation in Nodejs ApplicationNodejs 应用程序中的 Apache Spark 实现
【发布时间】:2018-04-14 09:28:10
【问题描述】:

我想在我的 nodejs 应用程序中实现 apache spark,

我尝试过实施 Eclairjs,但在实施时遇到了一些问题。

【问题讨论】:

标签: apache-spark apache-toree


【解决方案1】:

Eclairjs 似乎已经死了

如果你想从节点访问 spark,我建议使用livy
livy 是一个运行 spark 会话的服务,并向该会话公开一个 rest api。

似乎已经有一个节点客户端:https://www.npmjs.com/package/node-livy-client
(我没用过node客户端,不好说)

【讨论】:

  • Livy 支持从任何类型的客户端提交 spark 作业,但作业本身仍需要使用受支持的 spark 语言之一(即 java、scala、python 或 R)。因此,只要您愿意编写,例如 python sn-ps,并使用您的节点应用程序将它们提交到 spark 集群...... node-livy-client 包将为您完成。
  • 但是如果我们希望结果以分页格式返回呢?解决方案是什么?
  • 是的,您必须将 spark 作业返回的结果存储到 spark 支持的数据库之一 - hbase、hive sql
猜你喜欢
  • 2015-08-05
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-10-07
相关资源
最近更新 更多