hadoop - 爱码网

在 Ubuntu 22 的基础上进行 Hadoop 伪分布式（HDFS）的搭建

一、使用VMware安装Ubuntu虚拟机在Linux系统各个发行版中，Ubuntu系统在服务端和桌面端使用占比最高，网络上资料最是齐全，所以这里使用Ubuntu LTS。整体的系统安装文件较大(>1G)，这里采用了迅雷加速下载。迅雷下载地址：下载迅雷工具下载地址：Download Ubunt ... »

mac系统上hdfs java api的简单使用

1、背景在上一节中，我们简单学习了在命令行上如何操作hdfs shell api，此处我们通过java程序来操作一下。 2、环境准备需要在本地环境变量中配置 HADOOP_HOME 或在程序启动的时候通过命令行指定hadoop.home.dir的值，值为HADOOP的home目录地址。可通过o ... »

Hadoop部署的基础设施操作详解

目录官网导读基础设施设置IP及主机名关闭防火墙&amp;selinux 设置hosts映射时间同步安装jdk 设置SSH免秘钥结论官网导读 hadoop.apache.org/docs/r2.6.5… 支持最好的平台：GNU/Linux 依赖的软件： J »

Hadoop脚本远程控制中SSH常见问题详解

目录背景 SSH有三个知识点背景在Hadoop脚本远程控制中，需要知道SSH一些常见的知识点。 SSH有三个知识点 1、使用ssh通过Hadoop脚本远程控制其他节点。 2、ssh配置免密模式。 3、ssh远程执行的时候有一个弊端，上面说到需要使用Java JDK，使用 »

Centos7搭建hadoop3.3.4分布式集群

1、背景最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ... »

Centos7系统编译Hadoop3.3.4

1、背景最近在学习hadoop，此篇文章简单记录一下通过源码来编译hadoop。为什么要重新编译hadoop源码，是因为为了匹配不同操作系统的本地库环境。 2、编译源码 2.1 下载并解压源码 [root@hadoop01 ~]# mkdir /opt/hadoop [root@hadoop01 ... »

05安装一个Hadoop分布式集群

安装一个Hadoop分布式集群最小化的Hadoop已经可以满足学习过程中大部分需求，但是为了研究Hadoop集群运行机制，部署一个类生产的环境还是有必要的。因为集群机器比较少，笔者没有配置ssh，所以就需要在每一台机器上手动启动服务。启动上相对繁琐一些，优点是可以高度自定义集群中的任务节点数量，从 »

微软外服札记④——Spark中的那些坑...

Spark中的那些坑 Spark中的那些坑前言读取配置文件时区陷阱怪异的DayOfWeek substring陷阱 IP地址解析枚举的数值 posexplode函数为什么我的程序运行那么慢？慎用Count()和Show() 为什么我的程序运行那么慢？（2）优化、优化其它题外话前言 ... »

使用docker安装hadoop（已实现）

1.拉镜像这里推荐第一个 docker pull registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base 或者 docker pull qianiqan/hadoop_only 2.创建容器三个容器的名称分别是Master、S »

【深入浅出 Yarn 架构与实现】4-4 RM 管理 Application

在 YARN 中，Application 是指应用程序，它可能启动多个运行实例，每个运行实例由 —个 ApplicationMaster 与一组该 ApplicationMaster 启动的任务组成，它拥有名称、队列、优先级等属性，是一个比较宽泛的概念，可以是一个 MepReduce 作业、一个 D... ... »

Hadoop生态元数据管理平台——Atlas2.3.0发布！

大家好，我是独孤风。今天我们来聊一下另一个元数据管理平台Apache Atlas。Atlas其实有一些年头了，是在2015年的时候就开源。相对于Datahub来说，Atlas显得有一些“老”了，社区也远没有以前活跃。但是，从稳定性和与Hadoop生态的融合度的角度来说，Atlas目前还是无 »

【深入浅出 Yarn 架构与实现】4-3 RM 管理 NodeManager

本篇继续对 RM 中管理 NodeManager 的部分进行深入的讲解。主要有三个部分：检查 NM 是否存活；管理 NM 的黑白名单；响应 NM RPC 请求。 ... »

【深入浅出 Yarn 架构与实现】4-2 RM 管理 Application Master

本篇将对 RM 中管理 Application Master 的部分进行深入的讲解。下面将会介绍 RM 与 AM 整体通信执行流程，并对 RM 中涉及的对应服务进行具体讲解。为了更好的学习本篇知识，建议先熟悉以下知识点，不了解的部分可翻到前面对应的文章进行学习： ... »