一般入门 Hadoop/Spark fiware-cosmos 问题

Question

我有一些关于 fiware-cosmos 的一般性问题，如果它们是基本的，我深表歉意，但我试图了解 cosmos 的架构和使用。

我看到您计划将 Apache Spark 集成到 Cosmos 中？你有路线图或日期吗？如果我现在想使用 Spark 会怎样？

可以使用哪些 Hadoop 服务源？我想我读到 Cosmos 支持 Cloudera CDH 服务和原始 Hadoop 服务器服务？ HortonWorks 或 MapR 呢？

我知道非标准文件系统可以与 Hadoop 一起使用，例如 MapR-FS，这样的选项可以与 Cosmos 一起使用吗？

我还读到 Cosmos “位于”固件之上，因此可以使用 Hadoop 即服务 (HaaS) 并使用开放堆栈生成 Hadoop 集群？但是，我看到人们指的是共享固件云？ fiware 是否作为远程云运行？可以在客户站点上使用本地云吗？

cosmos 是 fiware.org 上唯一的 Apache Hadoop/Spark 解决方案吗？

最后，如果 Cloudera CDH 可以与 Cosmos 一起使用，Cloudera 集群管理器如何融入其中？还能用吗？

抱歉所有问题:)

Answer 1

Cosmos 是 FIWARE Lab 中大数据 GE 全球实例的名称。它是一个已部署在云端的共享 Hadoop 实例，可供 FIWARE 用户使用。

事实上，有两个实例：“旧”实例，服务于相当旧版本的 Hadoop 堆栈，并作为 cosmos.lab.fiware.org 其入口点。还有一个“新”，它是一对 Hadoop 集群，一个用于数据存储，另一个用于数据分析；入口点是storing.cosmos.lab.fiware.org 和computing.cosmos.lab.fiware.org。

当然，您可以在 FIWARE 云（或任何其他云，例如亚马逊云）中自行部署任何其他 Hadoop（甚至 Spark）实例。

关于 Spark，由于我们最初计划在 FIWARE Lab 中部署它（这就是它出现在路线图中的原因），现在还不清楚它是否会被部署。