【深入浅出 Yarn 架构与实现】2-2 Yarn 基础库 - 底层通信库 RPC
RPC（Remote Procedure Call） 是 Hadoop 服务通信的关键库，支撑上层分布式环境下复杂的进程间（Inter-Process Communication, IPC）通信逻辑，是分布式系统的基础。允许运行于一台计算机上的程序像调用本地方法一样，调用另一台计算机的子程序。由于 ... »
【深入浅出 Yarn 架构与实现】2-1 Yarn 基础库概述
了解 Yarn 基础库是后面阅读 Yarn 源码的基础，本节对 Yarn 基础库做总体的介绍。并对其中使用的第三方库 Protocol Buffers 和 Avro 是什么、怎么用做简要的介绍。 一、主要使用的库 Protocol Buffers：是 Google 开源的序列化库，具有平台无关、高性 ... »
【深入浅出 Yarn 架构与实现】1-2 搭建 Hadoop 源码阅读环境
本文将介绍如何使用 idea 搭建 Hadoop 源码阅读环境。（默认已安装好 Java、Maven 环境） 一、搭建源码阅读环境 一）idea 导入 hadoop 工程 从 github 上拉取代码。https://github.com/apache/hadoop可以选择对应的分支 # 如拉取 2 ... »
【深入浅出 Yarn 架构与实现】1-1 设计理念与基本架构
一、Yarn 产生的背景 Hadoop2 之前是由 HDFS 和 MR 组成的，HDFS 负责存储，MR 负责计算。 一）MRv1 的问题 耦合度高：MR 中的 jobTracker 同时负责资源管理和作业控制两个功能，互相制约。 可靠性差：管理节点是单机的，有单点故障的问题。 资源利用率低：基于 ... »
1末页