如何将 Spark 应用程序部署到远程 HPC 系统？

Question

我已经在我的笔记本电脑上安装、配置了 Spark，并开发了一种并行算法，用于最大团检测（maxClique.py 文件）。

Clique 检测是一个 NP-hard 问题，计算挑战。

您能否帮助指导我逐步配置maxClique.py，并将其从我的笔记本电脑部署到位于高性能计算中心的远程集群。 http://www.sdsc.edu/services/hpc/hpc_systems.html

感谢您的帮助

Answer 1

如上所述，
每个 HPC 超级计算中心，
包括 SDSC 中心，
还运营支持服务线，以帮助申请人以最佳实践方式开始计算工作，根据各自的 HPC 中心本地实践进行微调，以在其托管计算 HPC 结构上执行。

请遵循 SCSC 支持说明：

技术咨询

SDSC 顾问在各种矢量和并行平台上的计算科学和工程方面拥有丰富的经验。我们的顾问可以帮助用户解决与 SDSC 计算资源相关的问题。我们鼓励用户在向 SDSC Consulting 提交问题之前调查我们的“有用工具”部分：

• User Guides - 适用于所有 SDSC 机器、新用户信息、高级编程文章。
• 提交工单或E-mail Consult@sdsc.edu 太平洋标准时间上午 9 点至下午 5 点。
• 致电 1-866-336-2357（太平洋标准时间上午 9 点至下午 5 点进行常规查询；24/7 仅提供紧急支持）。