spark

Spark Streaming简介及原理

简介: SparkStreaming是一套框架。 SparkStreaming是Spark核心API的一个扩展,可以实现高吞吐量的,具备容错机制的实时流数据处理。 支持多种数据源获取数据: Spark »

fishperson

Spark Streaming流式处理

Spark Streaming介绍 Spark Streaming概述 Spark Streaming makes it easy to build scalable fault-tolerant s »

jifengblog

Spark之 Spark Streaming流式处理

SparkStreaming Spark Streaming类似于Apache Storm,用于流式数据的处理。Spark Streaming有高吞吐量和容错能力强等特点。Spark Streamin »

blazeZzz

NoSQL-流式数据处理与Spark

随着信息时代的到来,数据开始急剧膨胀,业务也变得很复杂,我们每个人都是个数据源,每时每刻都在产生着数据与个性化、实时化的需求,原本的人力以及服务器已经不足以支撑数据处理平台的业务。由此,流式数据处理便 »

Echo-41

Spark Configuration配置 - Aaron-Mhs

Spark可以通过三种方式配置系统: 通过SparkConf对象, 或者Java系统属性配置Spark的应用参数 通过每个节点上的conf/spark-env.sh脚本为每台机器配置环境变量 通过lo »

sh425

Mac OS下搭建Hadoop + Spark集群

首先注意版本兼容问题!!!本文采用的是Scala 2.11.8 + Hadoop 2.7.5 + Spark 2.2.0 请在下载Spark时务必看清对应的Scala和Hadoop版本! 一、配置JD »

huiAlex

Hive on Spark和Spark sql on Hive,你能分的清楚么

摘要:结构上Hive On Spark和SparkSQL都是一个翻译层,把一个SQL翻译成分布式可执行的Spark程序。 本文分享自华为云社区《Hive on Spark和Spark sql on Hive有啥区别?》,作者:dayu_dls 。 结构上Hive On Spark和SparkSQL都 ... »

做组织机构树状图 spark

很简单 基本上就是复制粘贴 再做两个图片 OK了摘自: http://hi.baidu.com/awol2005ex/item/8c673626e8ff493194f62bd0然后在spark加一个插 »

IamThat

Spark 运行模式

Local 模式: 1.概述: Local模式就是运行在一台计算机上的模式,通常就是用于在本机上练手和测试。 它可以通过以下集中方式设置Master。 local: 所有计算都运行在一个线程当中,没有 »

LXL616

Spark SQL实现日志离线批处理

一、 基本的离线数据处理架构: 处理框图: 1 2 3 4 5 6 7为离线处理,其中5不一定是Hive(还有Spark SQL等) 6不一定是RDBMS(NoSQL) 执行时,可用调度框架Oozie »

kinghey-java-ljx

[平台建设] Spark任务的诊断调优

本文主要根据平台用户平常提交的spark任务思考,调研引入Dr. Elephant, 通过阅读Dr 相关源码, 明白Dr 执行整体流程并对代码进行改造,适配我们的需求.最终转变为平台产品来对用户的Spark任务进行诊断并给出相关调优建议. ... »