在家搭建Hadoop集群（2PCs）

Question

您好，我想知道是否有人对设置我的集群有一些建议。主要是为了自己的学习目的。我正在抓取新闻文章，并想尝试一些机器学习的东西来进行聚类等。我的数据大约是 1-10 GB。

我可以随意使用

1. 配备 SSD/8GB 内存/i5（2 核）的 Macbook pro 配备 SSD/8GB 内存/i5（2 核）的 Macbook pro
2. 带有 ubuntu 1.5 TB 硬盘空间/8GB 内存/i5（4 核）的台式电脑

我现在的想法是使用我的 macbook 作为主节点，并在我的台式电脑上通过 vm 设置 2-4 个从节点。也许我可以获得 8-16 gigs 的额外内存。

我不太关心性能。

或者我应该放弃我的想法并采用 Amazon EC2 路线吗？

提前致谢

Answer 1

如果您的数据小于 10 GB 并且性能不是问题，那么您的配置应该足以运行 Map Reduce/或许多机器学习程序。我已经在我家的笔记本电脑上设置了一个 2 节点集群，与您的配置不匹配（更少的内存和相同的内核），我可以以相当快的速度运行我复杂的 hadoop 作业。您可以继续这样做，而不是在 Amazon EC2 上花费一些钱。