设置多节点 Hadoop Hortonworks 集群

【问题标题】：Setting up Multi Node Hadoop Hortonworks Cluster设置多节点 Hadoop Hortonworks 集群
【发布时间】：2019-03-08 19:15:17
【问题描述】：

我正在研究 hadoop 中的概念验证，我可能会使用 HDP 和 HDF hortonwork 组件设置一个集群。

数据量确实很小，所以如果我没记错的话，每个节点的磁盘量可能不需要超过10 GB。

主从节点的 CPU 数量和 RAM 的考虑标准是什么？

【问题讨论】：

    标签： amazon-web-services bigdata hadoop2 hortonworks-data-platform hortonworks-dataflow


    【解决方案1】：

    在您的情况下，您可能正在跨多个节点执行 MapReduce 作业。 以我目前的知识，从节点在任何 CPU 配置和 2/4 GB RAM 下都可以正常运行。对于主节点，您可能需要一台至少具有 4 核、单/双插槽 CPU、8 GB RAM 的机器。

    【讨论】：

      猜你喜欢
      相关资源
      最近更新 更多
      热门标签
      Java Python linux javascript C# Mysql Docker 算法 前端 SpringBoot Redis Vue spring .net 设计模式 .net core c++ kubernetes 数据库 机器学习 大数据 数据结构 微服务 js 人工智能 Go Android 面试 程序员 JVM 云原生 后端 ASP.net core 深度学习 CSS k8s git golang PHP devops Nginx Django React mybatis 架构 多线程 Spring Boot 云计算 LeetCode 分布式