HBase

Linux 下搭建 HBase 环境

Linux 下搭建 HBase 环境 作者:Grey 原文地址: 博客园:Linux 下搭建 HBase 环境 CSDN:Linux 下搭建 HBase 环境 前置工作 首先,需要先完成 Linux 下搭建 Kafka 环境 Linux 下搭建 Hadoop 环境 本文基于上述两个环境已经搭建完成的 ... »

greyzeng

大数据技术之HBase原理与实战归纳分享-上

要想入门大数据理论和原理必先研究HBase,体会其设计精髓,本篇先介绍其基础架构和应用场景、逻辑结果和物理存储结构进一步理解其数据模型,通过详细完整步骤一步步的安装最新版本2.5高可用的Hbase集群以加深理解其整体架构,最后通过实操Hbase Shell基础命令和DDL、DMl等常用命令。 ... »

HBase(1/5)

HBase学习(一) 一、了解HBase 官方文档:https://hbase.apache.org/book.html 1.1 HBase概述 HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,用于存储海量的结构化或者半结构化,非结构化的数据(底层是字节数组做存储的) HBase ... »

xiaoxiao- HBase

HBase1.4.6安装搭建及shell命令使用

HBase1.4.6安装搭建 一、前期准备(Hadoop,zookeeper,jdk) 启动hadoop start-all.sh 验证 http://master:50070 启动zookeeper(三台分别启动) zkServer.sh start 检查状态 zkServer.sh status ... »

bfy0221 Hbase

flink-cdc同步mysql数据到hbase

本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC? CDC是(Change Data Capture 变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到 ... »

data-magnifier

HBase原理深入

HBase 读写数据流程 Hbase 读数据流程 首先从 zk 找到 meta 表的 region 位置,然后读取 meta 表中的数据,meta 表中存储了用户表的 region 信息 根据要查询的 namespace、表名和 rowkey 信息,找到写入数据对应的 region 信息 找到这个 ... »

javammc

HBase集群部署与基础命令

HBase 集群部署 安装 hbase 之前需要先搭建好 hadoop 集群和 zookeeper 集群。hadoop 集群搭建可以参考:https://www.cnblogs.com/javammc/p/16545146.html 下载安装包 http://archive.apache.org/d ... »

HBase概念入门

HBase简介 HBase基于Google的BigTable论文而来,是一个分布式海量列式非关系型数据库系统,可以提供大规模数据集的实时随机读写。 下面通过一个小场景认识HBase存储。同样的一个数据 用Mysql存储是这样的: id | name | age| salary |job | | | ... »

HBase启动时IP地址解析不正确的问题及解决方法

HBase启动时遇到IP地址解析不正确,连不上Regionserver , 配置文件上写的 192.168.100.28, 错误信息  Problem binding to /202.102.110.204:60020 : Cannot assign requested address 。   配置的地址和解析出来的地址不一致,导致Regionserver 没有启动, 在 /etc/sysco »

基于Kafka+Spark Streaming+HBase实时点击流案例

 背景 Kafka实时记录从数据采集工具Flume或业务系统实时接口收集数据,并作为消息缓冲组件为上游实时计算框架提供可靠数据支撑,Spark 1.3版本后支持两种整合Kafka机制(Receiver-based Approach 和 Direct Approach),具体细节请参考文章最后官方文档链接,数据存储使用HBase 实现思路 实现Kafka消息生产者模拟器 Spark Streami »

HBase 2.1.3 集群 web 报错InvalidProtocolBufferException 解决方法

搭建好HBase 集群后,各种后台进程都正常,搭建手册参考: Hbase 2.1.3 集群搭建手册https://www.cndba.cn/dave/article/3322   但是通过web访问,却报如下错误:   2019-03-05 23:13:49,508 WARN [qtp1911600942-82] servlet.ServletHandler: /master-statu »

hbase练习题

-- 配置环境变量,因为在hbase中有的地方可能用到了环境变量-- bin/start-hbase.sh-- bin/hbase shell-- 访问http://mini0:16010/ 可以看浏览器页面名称 命令表达式 查看所有表 list list 创建表 create '表名', '列族名1','列族名2','列族名N' create 'www.qq.com20170 »

hive通过spark导入hbase

发现采用shcjar的话,总是执行到某个点就停止了 于是我打算尝试一下直接说哦用org.apache.hadoop.hbase.spark这个datasource看看 确实不行,即使没有createtable,也是报错没有权限创建表;还是专心来研究一下shc吧 翻看一下日志,日志注明了spark查看路径:http://192.168.156.104:4041 后来过了一段时间,报错 Failed »

关于hbase中的hbase-site.xml 配置详解

该文档是用Hbase默认配置文件生成的,文件源是 hbase-default.xml hbase.rootdir 这个目录是region server的共享目录,用来持久化HBase。URL需要是'完全正确'的,还要包含文件系统的scheme。例如,要表示hdfs中的'/hbase'目录,namenode 运行在namenode.example.org的9090端口。则需要设置为hdfs://n »

HBASE强制删除表

1,先把hdfs的对应表的数据删除 hadoop fs -mv /hbase/<table_name> /tmp 2,修复meta信息 hbase hbck -fixMeta -fixAssignments 3,从启hbase »

hbase集群写不进去数据的问题追踪过程

hbase从集群中有8台regionserver服务器,已稳定运行了5个多月,8月15号,发现集群中4个datanode进程死了,经查原因是内存 outofMemory了(因为这几台机器上部署了spark,给spark开的-Xmx是32g),然后对从集群进行了恢复并进行了补数据,写负载比较 重,又运行了几天,发现从集群写不进去数据了 ①、regionserver端                 »

java API连接虚拟机上的hbase

  今天用本地的eclipse连接虚拟机上的hbase数据库,代码如下: public static void main(String[] args) throws Exception{ Configuration conf = HBaseConfiguration.create(); //conf.set("fs.defaultFS", "hdfs://192.168.252.20 »