Flink sql 之 TopN 与 StreamPhysicalRankRule (源码解析)

基于flink1.14的源码做解析 公司内有很多业务方都在使用我们Flink sql平台做TopN的计算,今天同事突然问到我,Flink sql 是怎么实现topN的 ? 蒙圈了,这块源码没看过啊 ,业务要问起来怎么办,赶快打开源码补一下 拿到这个问题先冷静分析一下范围 首先肯定属于Flink sq ... »

Flink Sql 之 Calcite Volcano优化器(源码解析)

Calcite作为大数据领域最常用的SQL解析引擎,支持Flink , hive, kylin , druid等大型项目的sql解析 同时想要深入研究Flink sql源码的话calcite也是必备技能之一,非常值得学习 我们内部也通过它在做自研的sql引擎,通过一套sql支持关联查询任意多个异构数 ... »

Flink内存设置思路

1.前言 对于做实时计算的朋友来说,资源设置都是一个比较麻烦的问题。实时计算不同于离线计算,它的任务都是并行的,启动就会一直占用集群资源,如果资源设置的过多会造成极大的浪费,设置的过少任务会不断发生f »

lighten

Spark比拼Flink:下一代大数据计算引擎之争

下一代大数据计算引擎 自从数据处理需求超过了传统数据库能有效处理的数据量之后,Hadoop 等各种基于 MapReduce 的海量数据处理系统应运而生。从 2004 年 Google 发表 MapRe »

qiucunxin

Flink内存溢出

Flink内存模型 此图是基于flink1.12版本. 一个taskmanager给了6g内存,可以有很清楚的看到各个部分占用的内存,还是实时变化的. 名词解释 组件 配置项 描述 Framework »

weijiqian

Flink实时风控

典型的风控场景包括:注册风控、登陆风控、交易风控、活动风控等,而风控的最佳效果是防患于未然,所以事前事中和事后三种实现方案中,又以事前预警和事中控制最好。 系统架构 业务系统 风控系统,为业务系统提供 »

allenservice

基于 Flink 的实时数仓生产实践

数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战。在智能商业中,数据的结果代表了用户反馈、获取数据的及时性尤为重要。快速获取数据反馈能够帮助公司更快地做出决策,更好地进行 »

zhaowei121

数仓系列 | Flink 窗口的应用与实现

简介: 本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下: 1. 整体思路 »

ludongguoa

Ververica Platform-阿里巴巴全新Flink企业版揭秘

以下是精彩视频内容整理: 随着人工智能时代的降临,数据量的爆发,在典型的大数据业务场景下数据业务最通用的做法是:选用批处理的技术处理全量数据,采用流式计算处理实时增量数据。2017年基于Flink开发 »

qiucunxin

Docker安装flink及避坑指南

Docker安装flink 导航 无处不在的大数据 安装flink 拉取flink镜像 编写docker-compose.yml 生成启动 查看安装效果 常见坑及解决方案 问题1 问题2 参考 本节是《flink入门实战》的第4篇,感谢您的阅读,预计阅读时长3min。 “泰山不拒细壤,故能成其高,江 ... »

大数据hadoop,spark,flink等经典电子书PDF下载

工作之余,我收集了不少大数据方面的PDF电子书,书目如下,持续更新中。。。 很多都是经典,不敢独享,跟大家分享下。有需要的请关注文末的微信公众号,发送消息“大数据电子书”获取下载链接 Hadoop权威 »

wangbin2188

Flink-2-流处理基础

第2章 流处理基础 参考书籍 Stream Processing with Apache Flinkhttps://www.oreilly.com/library/view/stream-proces »

t0ugh