【发布时间】：2015-07-16 21:00:14
【问题描述】：
我不像这里的许多其他人那样喜欢计算机，我主修数学，并以 MatLab 作为我的主要计算机知识。我最近通过伯克利提供的优秀 edX 课程接触了 Apache Spark。
他们用于设置 Spark 的方法是在一个很好的分步指南中提供的，它涉及：使用 Ubuntu 32 位 VM 下载 Oracle VM Virtual Box，然后通过使用 vagrant（我再次强调computer-y 所以不是 100% 确定它是如何工作的或它是什么）将它连接到 IPython 笔记本。这使我能够通过 Internet 访问 Spark 并使用 pySpark 在 python 中编写代码，这正是我想要做的。
在第二次实验练习之前一切都很顺利，很明显，我的 Windows 笔记本电脑在尝试处理大型数据集时不断冻结和崩溃后，可用内存不足（只有 3 Gb 和四年前）。
显然不可能在 VM 中拥有 VM，因此我今天大部分时间都在寻找设置 Spark 的替代方法，但无济于事；这些指南都是针对比我有更多计算机知识的人。
我现在（可能很天真）的想法是租用一台外部机器，我可以像以前一样完全通过我的 Windows 笔记本电脑与之交互，但这样虚拟机就可以在我的笔记本电脑内存之外运行，即在云中（使用任何Ubuntu、Windows 等）。本质上，我想将 Oracle VM 虚拟机移至外部源，以摆脱我的计算机的内存负担并像以前一样使用 Ipython 笔记本。
如何在 Ipython 笔记本中设置虚拟机以用于 Spark 的计算方面？
或者是否有其他简单易行的方法？
【问题讨论】：
标签： python apache-spark virtual-machine ipython-notebook