hdfs - 爱码网

关于Hadoop的HDFS集群

目录每台计算机中的配置具体步骤配置原型部署集群 HDFS 集群是建立在 Hadoop 集群之上的，由于 HDFS 是 Hadoop 最主要的守护进程，所以 HDFS 集群的配置过程是 Hadoop 集群配置过程的代表。使用 Docker 可以更加方便地、高效地构建出一个集群环境。 »

hdfs集群的扩容和缩容

1、背景当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。 2、集群黑白名单在hdfs集群中是存在黑名单和白名单的。黑名单：该文件包含不允许连接到nam ... »

云上大数据存储：探究 JuiceFS 与 HDFS 的异同

HDFS 作为 Hadoop 提供存储组件，已经成为大数据生态里面数据存储最常用的选择，通常在机房环境部署。 JuiceFS 是一个基于对象存储的分布式文件系统，用户可以在云上快速地搭建按需扩容的弹性文件系统。如果企业正在考虑在云上构建大数据平台，了解这两种产品的差异和优缺点，可以为企业迁移或切换 ... »

云上大数据存储：探究 JuiceFS 与 HDFS 的异同

HDFS 作为 Hadoop 提供存储组件，已经成为大数据生态里面数据存储最常用的选择，通常在机房环境部署。 JuiceFS 是一个基于对象存储的分布式文件系统，用户可以在云上快速地搭建按需扩容的弹性文件系统。如果企业正在考虑在云上构建大数据平台，了解这两种产品的差异和优缺点，可以为企业迁移或切换 ... »

官方详解HDFS Balancer工具主要调优参数

目录引言使用HDFS Balancer 方式一：使用HDFS Balancer命令方式二：使用start-balancer.sh工具 Balancer调优参数常见问题引言 HDFS Balancer工具可以用来分析块的分布情况，并且可以重新分配DataNode中的数据 »

官方详解HDFS Balancer工具主要调优参数

目录引言使用HDFS Balancer 方式一：使用HDFS Balancer命令方式二：使用start-balancer.sh工具 Balancer调优参数常见问题引言 HDFS Balancer工具可以用来分析块的分布情况，并且可以重新分配DataNode中的数据 »

HDFS Balancer负载均衡器及语法详解

目录 1、背景 2、什么是平衡 2.1 每个DataNode的利用率计算 2.2 集群的利用率 2.3 平衡 3、hdfs balancer语法 4、运行一个简单的balance案例 4.1 设置平衡数据传输带宽 4.2 执行banalce 5、参考文档 1、背景当我们的 »

HDFS Balancer负载均衡器及语法详解

目录 1、背景 2、什么是平衡 2.1 每个DataNode的利用率计算 2.2 集群的利用率 2.3 平衡 3、hdfs balancer语法 4、运行一个简单的balance案例 4.1 设置平衡数据传输带宽 4.2 执行banalce 5、参考文档 1、背景当我们的 »

解决hadoop启动报错ERROR: Attempting to operate on hdfs namenode as root的方法

hadoop-3.1.0启动hadoop集群时还有可能可能会报如下错误: [root@localhost sbin]# start-all.shStarting namenodes on [hadoop]ERROR: Attempting to operate on hdfs namenode a »

hdfs的异构存储

在我们实际的开发过程中，我们的某些数据可能经常使用，但是过了一段时间，这个数据就不怎么使用了，即我们的数据存在一个`热`、`温`、`冷`等这些特性。那么针对`数据的热度`，我们可以采用不同的策略，存储到不同的存储介质上。 ... »

hdfs的异构存储

在我们实际的开发过程中，我们的某些数据可能经常使用，但是过了一段时间，这个数据就不怎么使用了，即我们的数据存在一个`热`、`温`、`冷`等这些特性。那么针对`数据的热度`，我们可以采用不同的策略，存储到不同的存储介质上。 ... »

HDFS数据读写流程

HDFS 写入数据流程宏观流程 | No | 步骤 | 详情 | | : | : | : | | 1 | 客户端向HDFS发送写数据请求 | hdfs dfs -put tomcat.tar.gz /bdg/ | | 2 | filesystem通过rpc调用namenode的create方法 | ... »

在 Ubuntu 22 的基础上进行 Hadoop 伪分布式（HDFS）的搭建

一、使用VMware安装Ubuntu虚拟机在Linux系统各个发行版中，Ubuntu系统在服务端和桌面端使用占比最高，网络上资料最是齐全，所以这里使用Ubuntu LTS。整体的系统安装文件较大(>1G)，这里采用了迅雷加速下载。迅雷下载地址：下载迅雷工具下载地址：Download Ubunt ... »

mac系统上hdfs java api的简单使用

1、背景在上一节中，我们简单学习了在命令行上如何操作hdfs shell api，此处我们通过java程序来操作一下。 2、环境准备需要在本地环境变量中配置 HADOOP_HOME 或在程序启动的时候通过命令行指定hadoop.home.dir的值，值为HADOOP的home目录地址。可通过o ... »

04HDFS简介

HDFS简介一、什么是HDFS HDFS全称是Hadoop Distributed File System，简称HDFS。这是一个分布式文件系统，当数据规模大小超过一台物理计算机的存储能力时，就有必要进行分区并存储到若干台物理计算机上。管理网络中跨多台计算机的文件系统称为分布式文件系统。 Hado ... »