Hive调优

Hive建表优化 1,分区,分桶 一般是按照业务日期进行分区 每天的数据放在一个分区里 2,一般使用外部表,避免数据误删 3,选择适当的文件储存格式及压缩格式 4,命名要规范 5,数据分层,表分离,但是也不要分的太散 Hive查询优化 分区裁剪 where过滤, 先过滤,后join 分区分桶, 合并 ... »

zyl777 HIVE

手把手教你做用户画像——标签数据开发:用户画像工程化的重点模块,包含统计类、规则类、挖掘类、流式计算类标签的开发,标签相关数据可存储在Hive、MySQL、HBase、Elasticsearch等数据库中

手把手教你做用户画像:3种标签类型、8大系统模块 2020-04-08阅读 5320 导读:在互联网步入大数据时代后,用户行为给企业的产品和服务带来了一系列的改变和重塑,其中最大的变化在于, »

bonelee

hive on spark 编译

前置条件说明Hive on Spark是Hive跑在Spark上,用的是Spark执行引擎,而不是MapReduce,和Hive on Tez的道理一样。 从Hive 1.1版本开始,Hive on »

stark-summer

Java采用JDBC的方式连接Hive(SparkSQL)

前两天,由于系统的架构设计的原因,想通过Java直接访问Hive数据库,对于我这个Java以及Hadoop平台的菜鸟来说,的确是困难重重,不过,还好是搞定了。感觉也不是很麻烦。这篇文章,作为一个感想记 »

yangyang8848

Hive的配置详解和日常维护

Hive的配置详解和日常维护 一.Hive的参数配置详解 1>.mapred.reduce.tasks 2>.hive.mapred.mode 3>.hive.merge.mapfi »

gaoyuechen

Hive、Spark SQL、Impala比较

Hive、Spark SQL、Impala比较 Hive、Spark SQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案,但又各有特点。前面已经讨论了Hive和Impa »

jins-note

Hive语法及其进阶(二)

1、使用JDBC连接Hive 1 import java.sql.Connection; 2 import java.sql.DriverManager; 3 import java.sql.PreparedStatement; 4 import java.sql.ResultSet; 5 6 pu ... »

lmandcc Hive

基于hadoop的离线分析大数据工具Hive的架构图

一、Hadoop理论 Hadoop是一个专为离线和大规模数据分析而设计的,并不适合那种对几个记录随机读写的在线事务处理模式。 Hadoop=HDFS(文件系统,数据存储技术相关)+ Mapreduce »

gxyandwmm

Hadoop(分布式系统基础架构)---Hive与HBase区别

对于刚接触大数据的用户来说,要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析,以作抛砖引玉之用。 Hive是什么? Apache Hive是一 »

itcui

Hbase和Hive的区别

一、区别: 1.Hbase即 HadoopDatabase 的简称,也就是基于Hadoop数据库,是一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿)的随机实时查询,如交易清单、日志明细、轨迹 »

Coeus-P

Hive和HBase的区别

一、两者分别是什么: Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Ma »

yuguoshuo