【发布时间】：2017-09-12 20:46:23
【问题描述】：
我需要使用 Spark 运行时引擎部署 Apache Beam 应用程序。我的问题是我是否可以在 Pivotal Cloud Foundry 环境中部署 Spark 应用程序。如果可以，请提供示例。
谢谢
【问题讨论】：
标签： apache-spark cloud-foundry apache-beam
【发布时间】：2017-09-12 20:46:23
【问题描述】：
是的，Cloud Foundry 可以运行 Apache Spark 应用程序。 CF 现在能够挂载持久化卷，管理 Spark 集群本身的容器网络，并为不同类型的计算节点提供隔离段（例如，识别具有高性能网络的子集群，可能更适合 Spark 应用程序与. 通用应用程序）。
对于要馈送到 Spark 或从 Spark 输出的数据，您仍然需要 CF 之外的后备存储。这可能是 HDFS、Cassandra、JDBC/SQL、NFS、HTTP / S3 等。
Cloud Foundry 是无状态的，但它非常有能力运行像今天的 Spring Cloud Data Flow 这样的工作负载，它与 Apache Spark 以及 Hbase、Hadoop、常规 RDBMS、Kafka/Redis/RabbitMQ、FTP 服务器、云服务很好地集成在一起.. 任何你真正需要的东西。
这里是链接，你可以参考一下。
How to leverage Pivotal Cloud Foundry, Pivotal HD, Apache Spark and EMC ECS to analyze Twitter data
【讨论】：