0 序言 Flink : 1.12 job start running time : 2022-12-27 17:40:47 problem throw time : 2023-05-11 16:41:29,394 flink cdc : mysql --> redis 在此之前，本flink cd ... »
大家好，3y啊。好些天没更新了，并没有偷懒，只不过一直在安装环境，差点都想放弃了。 上一次比较大的更新是做了austin的预览地址，把企业微信的应用和机器人消息各种的消息类型和功能给完善了。上一篇文章也提到了，austin常规的功能已经更新得差不多了，剩下的就是各种细节的完善。 不知道大家还记不记得 ... »
目录 1.概述 2.SQL案例-演示Watermark为零的情况 3.SQL案例-演示Watermark不为零的情况 1.概述 生活中有种场景： 车辆进入隧道，信号不好，出了隧道后，信号就正常了。 正常情况下，车辆进入隧道后，如果车辆正常，没有事故，会正常驶出隧道。 在正常的隧道行驶 »
目录 1.为什么要学窗口 2.Flink中的窗口 3.滚动窗口（Tumble） 3.1 概念 3.2 案例SQL 1.为什么要学窗口 流式计算，一般有两种场景： 无限制的流式计算，比如：wordcount案例，它没有任何外部的限制条件，这种情况不多。 有限制的流式计算，比如：统计早 »
基于chunjun纯钧的增量数据同步 目前我司的大数据平台使用的是flink技术栈，底层的连接器插件使用的是国产的chunjun插件，在使用chunjun的过程中也遇到了很多问题，本次记录下在SQL模式的情况下怎么支持增量的数据同步 chunjun的官网文档对增量同步已经做出了一定的说明 纯钧官方 ... »
本次需求场景主要为实现将flinksql中collect()函数输出的Mutiset(VARCHAR<100>)多行结果转换为字符串。 一、FlinkSQL自定义函数分类 Flink SQL 的自定义函数是用户可以自行编写的一种函数，用于扩展 Flink SQL 的功能。自定义函数可以在 SQL 查 ... »
目录 基于k8s部署Session模式Flink集群 什么是Session模式 Flink的filesystem 基于k8s部署高可用Session模式Flink集群 各组件版本号 制作镜像 配置文件(ConfigMap) 添加serviceAccount并授权 部署JobManager 部署T »
目录 end-to-end exactly-once 富函数 富函数举例 Rich Function有一个生命周期的概念。典型的生命周期方法有： end-to-end exactly-once exactly-once只能保证Flink内部状态的一致性。而这个语义主要依赖Che »
这篇文章主要介绍“基于k8s如何部署Session模式Flink集群”，在日常操作中，相信很多人在基于k8s如何部署Session模式Flink集群问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”基于k8s如何部署Session模式Flink集群”的疑惑有所帮助！接下来 »
这篇文章主要介绍“基于k8s如何部署Session模式Flink集群”，在日常操作中，相信很多人在基于k8s如何部署Session模式Flink集群问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”基于k8s如何部署Session模式Flink集群”的疑惑有所帮助！接下来 »
Per-job Cluster 该模式下，一个作业一个集群，作业之间相互隔离。 在Per-Job模式下，集群管理器框架用于为每个提交的Job启动一个 Flink 集群。Job完成后，集群将关闭，所有残留的资源也将被清除。 此模式可以更好地隔离资源，因为行为异常的Job不会影响任何其他Job。另外，由 ... »
目录 概览 时间 重要类 WatermarkStrategy WatermarkGenerator TimerService 处理逻辑 窗口 重要类 Window WindowAssigner Triger Evictor WindowOperator InternalAppendi »
目录 概览 时间 重要类 WatermarkStrategy WatermarkGenerator TimerService 处理逻辑 窗口 重要类 Window WindowAssigner Triger Evictor WindowOperator InternalAppendi »
目录 研发背景 场景描述 组件版本 日志结构 技术方案 关键代码 主入口类 mapper算子 filter算子 keyBy算子 窗口函数（核心代码） 最后一次map算子 ElasticSearch工具类 事件实体类 消息实体类 研发背景 公司安全部目前针对内部系统的网络访问日志的安全审 »
研发背景 公司安全部目前针对内部系统的网络访问日志的安全审计，大部分都是T+1时效，每日当天，启动Python编写的定时任务，完成昨日的日志审计和检测，定时任务运行完成后，统一进行企业微信告警推送。这种方案在目前的网络环境和人员规模下，呈现两个痛点，一是面对日益频繁的网络攻击、钓鱼链接，T+ »
各位读者老爷请放下手上的板砖，我可真没有标题党，且容老弟慢慢道来。 spark和flink本身相信我不用做过多的介绍，后端同学不管搞没搞过大数据，应该都多多少少听过。 如果没听过，简单说，spark和flink之于大数据，就好比vue和react之于前端，就好比spring家族之于java。 从20 ... »
如果说简单聚合是对一些特定统计需求的实现，那么 reduce 算子就是一个一般化的聚合统计操作了。从大名鼎鼎的 MapReduce 开始，我们对 reduce 操作就不陌生：它可以对已有的 数据进行归约处理，把每一个新输入的数据和当前已经归约出来的值，再做一个聚合计算。与简单聚合类似，reduce »
目录 Sink介绍 UML关系 Flink addSink 案例 Sink介绍 在Fink官网中sink端只是给出了常规的write api.在我们实际开发场景中需要将flink处理的数据写入kafka,hbase kudu等外部系统。 UML关系 自定义Sink需要实现父类的接口和 »
目录 引出问题 demo设计 环境搭建 flink程序代码 项目演示 告警系统架构 引出问题 项目使用告警系统的逻辑是将实时数据保存到本地数据库再使用定时任务做判断，然后产生告警数据。这种方式存在告警的延时实在是太高了。数据从产生到保存，从保存到判断都会存在时间差，按照保存数据定时5分钟一 »
大数据开源商业化领域近日有一个爆炸性新闻，“Confluent 收购 Immerok”，字越少事越大，先给大家简单科普一下 Confluent 和 Immerok 这两家公司，Confluent 是掌控 Apache Kafka 社区的大数据开源商业化公司，Immerok 是 Apache Flin ... »