Hive

Hive建表优化 1，分区，分桶 一般是按照业务日期进行分区 每天的数据放在一个分区里 2，一般使用外部表，避免数据误删 3，选择适当的文件储存格式及压缩格式 4，命名要规范 5，数据分层，表分离，但是也不要分的太散 Hive查询优化 分区裁剪 where过滤， 先过滤，后join 分区分桶， 合并 ... »

手把手教你做用户画像：3种标签类型、8大系统模块 2020-04-08阅读 5320 导读：在互联网步入大数据时代后，用户行为给企业的产品和服务带来了一系列的改变和重塑，其中最大的变化在于， »

#spark2.2.0源码编译 #组件：mvn-3.3.9 jdk-1.8 #wget http://mirror.bit.edu.cn/apache/spark/spark-2.2.0/spark- »

前置条件说明Hive on Spark是Hive跑在Spark上，用的是Spark执行引擎，而不是MapReduce，和Hive on Tez的道理一样。 从Hive 1.1版本开始，Hive on »

前两天，由于系统的架构设计的原因，想通过Java直接访问Hive数据库，对于我这个Java以及Hadoop平台的菜鸟来说，的确是困难重重，不过，还好是搞定了。感觉也不是很麻烦。这篇文章，作为一个感想记 »

count sum 完成筛选统计 »

Hive的配置详解和日常维护 一.Hive的参数配置详解 1>.mapred.reduce.tasks 2>.hive.mapred.mode 3>.hive.merge.mapfi »

distinct+group by »

Spark 可以使用scala、Java、Sql、Python、R语言进行开发。 在bin目录下也提供了spark-shell、spark-sql、sparkR、pyspark等交互方式。 Spark »

Hive、Spark SQL、Impala比较 Hive、Spark SQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案，但又各有特点。前面已经讨论了Hive和Impa »

1、使用JDBC连接Hive 1 import java.sql.Connection; 2 import java.sql.DriverManager; 3 import java.sql.PreparedStatement; 4 import java.sql.ResultSet; 5 6 pu ... »

什么是Hive？ 我来一个短而精悍的总结（面试常问） 1:hive是基于hadoop的数据仓库建模工具之一（后面还有TEZ，Spark）。 2:hive可以使用类sql方言，对存储在hdfs上的数据进 »

一、Hadoop理论 Hadoop是一个专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。 Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce »

转自：http://blog.csdn.net/yczws1/article/details/19178265。纯干货：Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详 »

对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析，以作抛砖引玉之用。 Hive是什么？ Apache Hive是一 »

摘自：https://www.zhihu.com/question/27974418 大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你 »

转载自http://blog.csdn.net/wangmuming/article/details/23954527和http://www.cnblogs.com/justinzhang/p/427 »

一、区别： 1.Hbase即 HadoopDatabase 的简称，也就是基于Hadoop数据库，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如交易清单、日志明细、轨迹 »

z摘自：http://www.linuxidc.com/Linux/2014-03/98978.htmhadoop生态圈Pig一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下 »

一、两者分别是什么： Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Ma »