Hadoop的高可用搭建

在已经安装完hadoop单机和zookeeper前提下 1.免密钥 ssh-keygen -t rsa 分发秘钥 ssh-copy-id -i master ssh-copy-id -i node1 ssh-copy-id -i node2 2.修改hadoop配置文件(我在master中修改) c ... »

MapReduce原理深入理解(二)

1.Mapreduce操作不需要reduce阶段 1 import org.apache.hadoop.conf.Configuration; 2 import org.apache.hadoop.fs.FileSystem; 3 import org.apache.hadoop.fs.Path; ... »

彻底解决Hive小文件问题

最近发现离线任务对一个增量Hive表的查询越来越慢,这引起了我的注意,我在cmd窗口手动执行count操作查询发现,速度确实很慢,才不到五千万的数据,居然需要300s,这显然是有问题的,我推测可能是有小文件。 我去hdfs目录查看了一下该目录: 发现确实有很多小文件,有480个小文件,我觉得我找到了 ... »

data-magnifier Hive

hadoop集群搭建详细教程

本文针对hadoop集群的搭建过程给予一个详细的介绍。 参考视频教程:https://www.bilibili.com/video/BV1tz4y127hX?p=1&share_medium=android&share_plat=android&share_session_id=10b66dfa-1 ... »

1305536110-dym

完全分布式Hadoop2.X的搭建

准备工作: 安装jdk 克隆2台虚拟机完成后:新的2台虚拟机,请务必依次修改3台虚拟机的ip地址和主机名称【建议三台主机名称依次叫做:master、node1、node2 】(虚拟机的克隆,前面的博客,三台虚拟机都要开机) 这里我们安装的是Hadoop2.7.6版本:https://hadoop.a ... »

hadoop运行常见问题FAQ

问题1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer:程序里面需要打开多个文件,进行分析,系统一般默认数量是 »

people

hadoop常见错误总结三

问题导读:1.... could only be replicated to 0 nodes, instead of 1 ...可能的原因是什么?2.Error: java.lang.NullPoin »

snowbook

hadoop中遇到的一些问题

1.验证词统计程序。————无法加载本地库 出现错误: WARN util.NativeCodeLoader: Unable to load native-hadoop library for you »

youngyan

Hadoop配置运行常见错误总结

hadoop最头疼各种各样的问题了,把遇到的问题以及解决办法大致整理一下: 一、hadoop集群在namenode格式化(bin/hadoop namenode -format)后重启集群会出现如下 »

douzhanshen

hadoop 二次排序的一些思考

先说一下mr的二次排序需求: 假如文件有两列分别为name、score,需求是先按照name排序,name相同按照score排序 数据如下: 输出结果要求: 我们常见的实现思路是: 然后是不是就ok了 »

jiangxiaoxian

大数据运维(57)平台搭建(hadoop+spark+zeppelin)(一)

随着信息化时代的加深,国家人力资源和社会保障部新规定了13个新型职业,大数据工程技术人员赫然在列,下面我将从一个初学者的态度,搭建我们的大数据平台。系统和软件版本如下: 软件相应版本 操作系统 Cen »

huanghanyu

Hadoop集群-HDFS集群中大数据运维常用的命令总结

Hadoop集群-HDFS集群中大数据运维常用的命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 本篇博客会简单涉及到滚动编辑,融合镜像文件,目录的空间配额等运维操作简介。话 »

yinzhengjie

OpenStack部署到Hadoop的四种方案

随着企业開始同一时候利用云计算和大数据技术。如今应当考虑怎样将这些工具结合使用。在这样的情况下,企业将实现最佳的分析处理能力。同一时候利用私有云的高速弹性 (rapid elasticity) 和单一 »

blfbuaa

Hadoop项目实战-用户行为分析之应用概述(一)

1.概述 本课程的视频教程地址:《Hadoop 回顾》 好的,下面就开始本篇教程的内容分享,本篇教程我为大家介绍我们要做一个什么样的Hadoop项目,并且对Hadoop项目的基本特点和其中的难点做有针 »

smartloli