Flink 尚硅谷学习笔记

简介

尚硅谷Flink(Scala版)教程丨清华硕士-武晟然老师主讲

https://www.bilibili.com/video/BV1Qp4y1Y7YN

官网 : http://flink.apache.org/

目录

    P01.尚硅谷_Flink-Flink简介------------    07:56
    P02.尚硅谷_Flink-Flink应用场景----------    19:46
    P03.尚硅谷_Flink-流式处理的提出----------------    11:05
    P04.尚硅谷_Flink-流式处理的演变-------------    15:18
    P05.尚硅谷_Flink-Flink的特点------------------    16:34
    P06.尚硅谷_Flink-批处理wordcount---------------    23:59
    P07.尚硅谷_Flink-流处理wordcount-------------    20:15
    P08.尚硅谷_Flink-流处理wordcount扩展测试和说明-------------    19:15
    P09.尚硅谷_Flink-Flink集群部署----------------    26:47
    P010.尚硅谷_Flink-提交Job---------------------    22:35
    P011.尚硅谷_Flink-命令行提交Job-----------    07:31
    P012.尚硅谷_Flink-其它方式集群部署------------------    12:51
    P013.尚硅谷_Flink-运行时架构_运行时组件-----------    08:36
    P014.尚硅谷_Flink-运行时架构_作业提交流程-------------    13:23
    P015.尚硅谷_Flink-运行时架构_任务调度原理(一)_并行度和slot-------------    16:29
    P016.尚硅谷_Flink-运行时架构_任务调度原理(二)_slot共享-----------------    17:23
    P017.尚硅谷_Flink-运行时架构_任务调度原理(三)_slot共享示例-----------    06:16
    P018.尚硅谷_Flink-运行时架构_任务调度原理(四)_执行图和任务链-------------    25:36
    P019.尚硅谷_Flink-运行时架构_任务调度原理(五)_自定义任务调度规则---------    12:21
    P020.尚硅谷_Flink-流处理API_Source(一)_从集合和文件读取数据------------    16:19
    P021.尚硅谷_Flink-流处理API_Source(二)_从Kafka读取数据-------------------    21:33
    P022.尚硅谷_Flink-流处理API_Source(三)_自定义Source--------------------    24:50
    P023.尚硅谷_Flink-流处理API_Transform(一)_简单转换算子-------------------    06:50
    P024.尚硅谷_Flink-流处理API_Transform(二)_简单分组聚合------------------    19:16
    P025.尚硅谷_Flink-流处理API_Transform(三)_reduce聚合--------------------    11:22
    P026.尚硅谷_Flink-流处理API_Transform(四)_分流操作-----------------------    12:24
    P027.尚硅谷_Flink-流处理API_Transform(五)_合流操作----------------------    19:55
    P028.尚硅谷_Flink-流处理API_Flink支持的数据类型----------------------------    09:41
    P029.尚硅谷_Flink-流处理API_函数类和富函数类------------------------------    19:41
    P030.尚硅谷_Flink-流处理API_Sink(一)_文件-----------------------------    18:55
    P031.尚硅谷_Flink-流处理API_Sink(二)_Kafka--------------------------    10:45
    P032.尚硅谷_Flink-流处理API_Sink(三)_Redis--------------------------    18:30
    P033.尚硅谷_Flink-流处理API_Sink(四)_ElasticSearch-------------------    16:43
    P034.尚硅谷_Flink-流处理API_Sink(五)_MySQL----------------------------    17:48
    P035.尚硅谷_Flink-流处理API_Window API_窗口概念-----------------------    07:22
    P036.尚硅谷_Flink-流处理API_Window API_窗口类型------------------------    10:13
    P037.尚硅谷_Flink-流处理API_Window API_窗口分配器---------------------------    27:17
    P038.尚硅谷_Flink-流处理API_Window API_窗口函数及其它可选API----------------    21:00
    P039.尚硅谷_Flink-流处理API_Window API_窗口计算测试-------------------------    15:07
    P040.尚硅谷_Flink-时间语义------------------------------------------------    17:57
    P041.尚硅谷_Flink-时间语义的设置-----------------------------------------    04:33
    P042.尚硅谷_Flink-Watermark概念--------------------------------------------    19:06
    P043.尚硅谷_Flink-Watermark原理和特点--------------------------------------    15:58
    P044.尚硅谷_Flink-Watermark传递-------------------------------------------    08:09
    P045.尚硅谷_Flink-Watermark代码中引入------------------------------------    16:33
    P046.尚硅谷_Flink-自定义Watermark生成机制--------------------------------    07:10
    P047.尚硅谷_Flink-事件时间语义下的窗口测试------------------------------    16:12
    P048.尚硅谷_Flink-窗口起始点的确定-------------------------------------    09:21
    P049.尚硅谷_Flink-状态管理(一)_状态的概念-----------------------------    08:08
    P050.尚硅谷_Flink-状态管理(二)_算子状态和键控状态-----------------------    15:14
    P051.尚硅谷_Flink-状态管理(三)_状态在代码中的定义和使用------------------    27:25
    P052.尚硅谷_Flink-状态编程示例(一)-------------------------------------    17:15
    P053.尚硅谷_Flink-状态编程示例(二)-------------------------------------    17:30
    P054.尚硅谷_Flink-ProcessFuntion_基本概念和使用--------------------------    23:24
    P055.尚硅谷_Flink-ProcessFuntion_定时器应用示例----------------------------    32:50
    P056.尚硅谷_Flink-ProcessFuntion_侧输出流应用示例--------------------------    09:45
    P057.尚硅谷_Flink-状态后端-------------------------------------------------    15:36
    P058.尚硅谷_Flink-容错机制_检查点概念和原理-------------------------------    13:31
    P059.尚硅谷_Flink-容错机制_检查点算法--------------------------------------    25:46
    P060.尚硅谷_Flink-容错机制_checkpoint配置----------------------------------    26:29
    P061.尚硅谷_Flink-容错机制_重启策略配置------------------------------------    08:21
    P062.尚硅谷_Flink-保存点-------------------------------------------------    07:32
    P063.尚硅谷_Flink-状态一致性_基本概念-----------------------------------    10:46
    P064.尚硅谷_Flink-状态一致性_Flink端到端状态一致性的保证----------------    08:43
    P065.尚硅谷_Flink-状态一致性_幂等写入和事务写入-------------------------    23:35
    P066.尚硅谷_Flink-状态一致性_Flink与Kafka连接的状态一致性--------------------    18:20
    P067.尚硅谷_Flink-Table API和Flink SQL_基本概念和示例程序---------------------    22:03
    P068.尚硅谷_Flink-Table API和Flink SQL_基本程序结构--------------------------    09:22
    P069.尚硅谷_Flink-Table API和Flink SQL_表执行环境--------------------------    15:43
    P070.尚硅谷_Flink-Table API和Flink SQL_表的概念和从文件读取数据-----------------    19:14
    P071.尚硅谷_Flink-Table API和Flink SQL_从Kafka读取数据-------------------------    09:29
    P072.尚硅谷_Flink-Table API和Flink SQL_表的查询转换------------------------------    11:04
    P073.尚硅谷_Flink-Table API和Flink SQL_DataStream和表的转换-------------------    08:25
    P074.尚硅谷_Flink-Table API和Flink SQL_输出到文件-----------------------------    25:14
    P075.尚硅谷_Flink-Table API和Flink SQL_更新模式------------------------------    10:51
    P076.尚硅谷_Flink-Table API和Flink SQL_Kafka管道测试--------------------------    17:41
    P077.尚硅谷_Flink-Table API和Flink SQL_输出到ES-------------------------------    18:18
    P078.尚硅谷_Flink-Table API和Flink SQL_输出到MySQL----------------------------    08:09
    P079.尚硅谷_Flink-Table API和Flink SQL_表转换成流------------------------------    11:34
    P080.尚硅谷_Flink-Table API和Flink SQL_流处理和SQL查询的不同------------------    07:07
    P081.尚硅谷_Flink-Table API和Flink SQL_动态表和持续查询----------------------    12:24
    P082.尚硅谷_Flink-Table API和Flink SQL_持续查询示例具体过程-----------------    12:50
    P083.尚硅谷_Flink-Table API和Flink SQL_时间特性(一)_处理时间-----------------    20:16
    P084.尚硅谷_Flink-Table API和Flink SQL_时间特性(二)_事件时间------------------    14:16
    P085.尚硅谷_Flink-Table API和Flink SQL_窗口(一)_分组窗口---------------------    13:11
    P086.尚硅谷_Flink-Table API和Flink SQL_窗口(二)_分组窗口测试--------------------    18:43
    P087.尚硅谷_Flink-Table API和Flink SQL_窗口(三)_Over窗口-----------------------    11:58
    P088.尚硅谷_Flink-Table API和Flink SQL_窗口(四)_Over窗口测试------------------------    13:03
    P089.尚硅谷_Flink-Table API和Flink SQL_函数(一)_系统内置函数----------------------    11:04
    P090.尚硅谷_Flink-Table API和Flink SQL_函数(二)_UDF函数_标量函数-----------------    14:39
    P091.尚硅谷_Flink-Table API和Flink SQL_函数(三)_UDF函数_表函数---------------------    17:19
    P092.尚硅谷_Flink-Table API和Flink SQL_函数(四)_UDF函数_聚合函数----------------    26:58
    P093.尚硅谷_Flink-Table API和Flink SQL_函数(五)_UDF函数_表聚合函数-------------    27:56
    P094.尚硅谷_Flink项目-电商用户行为分析_批处理和流处理以及项目选型---------------    08:12
    P095.尚硅谷_Flink项目-电商用户行为分析_用户行为分析应用场景----------------------    15:27
    P096.尚硅谷_Flink项目-电商用户行为分析_模块设计和数据分析------------------------    09:12
    P097.尚硅谷_Flink项目-电商用户行为分析_模块需求分析_实时热门商品统计(一)--------    21:03
    P098.尚硅谷_Flink项目-电商用户行为分析_模块需求分析_实时热门商品统计(二)---------    09:07
    P099.尚硅谷_Flink项目-电商用户行为分析_模块需求分析_其它需求-------------------    10:04
    P100.尚硅谷_Flink项目-电商用户行为分析_项目框架搭建---------------------------------    10:22
    P101.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(一)_窗口聚合--------------------    27:55
    P102.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(二)_排序统计输出--------------------------    27:14
    P103.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(三)_从Kafka消费数据测试------------------    20:51
    P104.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(四)_批量消费Kafka数据测试----------------    10:03
    P105.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(五)_Table API和SQL实现-------------------    28:43
    P106.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(一)_开窗聚合统计--------------------    26:06
    P107.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(二)_统计结果排序输出-----------------    09:47
    P108.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(三)_乱序数据的处理-------------------    21:04
    P109.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(四)_保证状态更新结果正确--------------    21:41
    P110.尚硅谷_Flink项目-电商用户行为分析_PV统计(一)_基本实现---------------------------------------    20:39
    P111.尚硅谷_Flink项目-电商用户行为分析_PV统计(二)_数据并行的优化--------------------------------    19:22
    P112.尚硅谷_Flink项目-电商用户行为分析_UV统计(一)_基本实现--------------------------------------    15:28
    P113.尚硅谷_Flink项目-电商用户行为分析_UV统计(二)_布隆过滤器去重思路和程序架构-------------------    30:48
    P114.尚硅谷_Flink项目-电商用户行为分析_UV统计(三)_布隆过滤器简单实现-----------------------------    09:12
    P115.尚硅谷_Flink项目-电商用户行为分析_UV统计(四)_UV去重的布隆过滤器实现-------------------------    23:32
    P116.尚硅谷_Flink项目-电商用户行为分析_APP市场推广统计(一)_自定义数据源-------------------------    17:03
    P117.尚硅谷_Flink项目-电商用户行为分析_APP市场推广统计(二)_开窗聚合统计输出---------------------    20:44
    P118.尚硅谷_Flink项目-电商用户行为分析_广告点击量统计分析(一)_基本需求实现-----------------------    19:19
    P119.尚硅谷_Flink项目-电商用户行为分析_广告点击量统计分析(二)_刷单行为过滤思路和整体框架---------    14:28
    P120.尚硅谷_Flink项目-电商用户行为分析_广告点击量统计分析(三)_刷单行为过滤代码实现--------------    23:20
    P121.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(一)_实现思路和代码框架--------------------    18:17
    P122.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(二)_具体代码实现---------------------------    18:21
    P123.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(三)_代码改进-------------------------------    18:19
    P124.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(四)_CEP代码实现---------------------------    30:33
    P125.尚硅谷_Flink项目-电商用户行为分析_CEP简介(一)_CEP介绍及Pattern API整体概念----------------    12:24
    P126.尚硅谷_Flink项目-电商用户行为分析_CEP简介(二)_个体模式-----------------------------------    12:41
    P127.尚硅谷_Flink项目-电商用户行为分析_CEP简介(三)_模式序列-------------------------------------    10:24
    P128.尚硅谷_Flink项目-电商用户行为分析_CEP简介(四)_模式的检测和事件处理-------------------------    09:50
    P129.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(一)_实现思路和程序架构--------------------    19:50
    P130.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(二)_CEP具体代码实现-----------------------    17:29
    P131.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(三)_流式输入数据测试--------------------    06:42
    P132.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(四)_ProcessFunction代码实现-------------    32:20
    P133.尚硅谷_Flink项目-电商用户行为分析_双流实时对账(一)_需求分析和整体架构--------------    13:50
    P134.尚硅谷_Flink项目-电商用户行为分析_双流实时对账(二)_合流代码实现------------------------    22:24
    P135.尚硅谷_Flink项目-电商用户行为分析_Join API(一)_Window Join---------------------------    12:56
    P136.尚硅谷_Flink项目-电商用户行为分析_Join API(二)_Interval Join--------------------------    09:47
    P137.尚硅谷_Flink项目-电商用户行为分析_双流实时对账(三)_Join代码实现-----------------------    09:22

详情

  P01.尚硅谷_Flink-Flink简介------------    07:56


  P02.尚硅谷_Flink-Flink应用场景----------    19:46

处理方式:  流处理,批处理

处理延时: 实时,离线

传统数据处理框架基于有限数据集


    P03.尚硅谷_Flink-流式处理的提出----------------    11:05


    P04.尚硅谷_Flink-流式处理的演变-------------    15:18

第一代流处理框架: storm  (低延时)

第二代流处理框架: Spark  (高吞吐,正确性,微批次,秒级延时)

第三代流处理框架:  Flink   ()


    P05.尚硅谷_Flink-Flink的特点------------------    16:34

high:  Table  API ,

mid:  DataStream API ,

low:  ProcessFunction

 


    P06.尚硅谷_Flink-批处理wordcount---------------    23:59

pom.xml

注意视频中的   scala-maven-plugin 4.4.0 我使用的是 4.5.3

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.atguigu</groupId>
    <artifactId>FlinkTutorial</artifactId>
    <version>1.0-SNAPSHOT</version>


    <dependencies>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_2.12</artifactId>
            <version>1.10.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_2.12</artifactId>
            <version>1.10.1</version>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <!--将scala文件编译成class文件-->
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>4.5.3</version>
                <executions>
                    <execution>
                        <!--声明绑定到maven的compile阶段-->
                        <goals>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>

            <!--打包成jar -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.3.0</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

</project>

如果无法新增scala文件,说明本机没有安装scala JDK ,IDEA 没有配置 scala 插件,请用40分钟转到本文https://blog.csdn.net/wei198621/article/details/119417753

学习一下 安装 scala JDK 及 IDEA 插件 ,然后继续。。。

 

//简单计数

package com.atguigu.wc

import org.apache.flink.api.scala.{DataSet, ExecutionEnvironment}
 import org.apache.flink.api.scala._
//隐式转换

/**
  * @author leowei
  * @date 2021/8/5  - 15:39   
  *
  * 批处理 wordCount
  */
object WordCount {

  def main(args: Array[String]): Unit = {
    // 01 创建一个批处理的 执行环境
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment

    // 02 从文件中读取数据
    val inputPath:String="C:\\workspace\\workspace_idea\\FlinkTutorial\\src\\main\\resources\\hello.txt";
    val inputDataSet:DataSet[String] = env.readTextFile(inputPath);

    //03  对数据进行转换处理统计,先分词,再按照word进行分组,最后进行聚合统计
    val resultDataSet: DataSet[(String,Int)] =inputDataSet
      .flatMap(_.split(" "))   //用空格分隔字符串
      .map((_,1))             // 将字符串转换为  String,Int 类型的二元组,_表示字符串本身
      //.groupBy(0)   //以第一个元素作为key ,进行分组
      //.sum(1)      // 对所有数据的第二个元素求和

    //04  打印输出
    resultDataSet.print()

  }
}

//分组统计

package com.atguigu.wc

import org.apache.flink.api.scala.{DataSet, ExecutionEnvironment}
 import org.apache.flink.api.scala._
//隐式转换

/**
  * @author leowei
  * @date 2021/8/5  - 15:39   
  *
  * 批处理 wordCount
  */
object WordCount {

  def main(args: Array[String]): Unit = {
    // 01 创建一个批处理的 执行环境
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment

    // 02 从文件中读取数据
    val inputPath:String="C:\\workspace\\workspace_idea\\FlinkTutorial\\src\\main\\resources\\hello.txt";
    val inputDataSet:DataSet[String] = env.readTextFile(inputPath);

    //03  对数据进行转换处理统计,先分词,再按照word进行分组,最后进行聚合统计
    val resultDataSet: DataSet[(String,Int)] =inputDataSet
      .flatMap(_.split(" "))   //用空格分隔字符串
      .map((_,1))             // 将字符串转换为  String,Int 类型的二元组,_表示字符串本身
      .groupBy(0)   //以第一个元素作为key ,进行分组
      .sum(1)      // 对所有数据的第二个元素求和

    //04  打印输出
    resultDataSet.print()

  }
}


    P07.尚硅谷_Flink-流处理wordcount-------------    20:15

package com.atguigu.wc

import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.streaming.api.scala._
/**
  * @author leowei
  * @date 2021/8/5  - 18:48
  *
  */
object WordCountStream {

  def main(args: Array[String]): Unit = {

    //01 创建流处理执行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment

    //02 接受一个socket 文本流
    val inputDataStream = env.socketTextStream("localhost", 7777)

    //03  进行转化处理统计
    val resultDataStream =inputDataStream
      .flatMap(_.split(" "))  // .flatMap(x=>x.split(" "))
      .filter(_.nonEmpty)
      .map((_,1))       //map(x=>x,1)
      .keyBy(0)
      .sum(1)

    //04 打印输出
    resultDataStream.print()

    //05 启动任务执行
    env.execute("word count stream ....")

  }

}

windows10上运行Linux Bash Shell

https://www.cnblogs.com/fander/p/10551391.html

 

 

---------20210805


    P08.尚硅谷_Flink-流处理wordcount扩展测试和说明-------------    19:15
    P09.尚硅谷_Flink-Flink集群部署----------------    26:47
    P010.尚硅谷_Flink-提交Job---------------------    22:35
    P011.尚硅谷_Flink-命令行提交Job-----------    07:31
    P012.尚硅谷_Flink-其它方式集群部署------------------    12:51
    P013.尚硅谷_Flink-运行时架构_运行时组件-----------    08:36
    P014.尚硅谷_Flink-运行时架构_作业提交流程-------------    13:23
    P015.尚硅谷_Flink-运行时架构_任务调度原理(一)_并行度和slot-------------    16:29
    P016.尚硅谷_Flink-运行时架构_任务调度原理(二)_slot共享-----------------    17:23
    P017.尚硅谷_Flink-运行时架构_任务调度原理(三)_slot共享示例-----------    06:16
    P018.尚硅谷_Flink-运行时架构_任务调度原理(四)_执行图和任务链-------------    25:36
    P019.尚硅谷_Flink-运行时架构_任务调度原理(五)_自定义任务调度规则---------    12:21
    P020.尚硅谷_Flink-流处理API_Source(一)_从集合和文件读取数据------------    16:19
    P021.尚硅谷_Flink-流处理API_Source(二)_从Kafka读取数据-------------------    21:33
    P022.尚硅谷_Flink-流处理API_Source(三)_自定义Source--------------------    24:50
    P023.尚硅谷_Flink-流处理API_Transform(一)_简单转换算子-------------------    06:50
    P024.尚硅谷_Flink-流处理API_Transform(二)_简单分组聚合------------------    19:16
    P025.尚硅谷_Flink-流处理API_Transform(三)_reduce聚合--------------------    11:22
    P026.尚硅谷_Flink-流处理API_Transform(四)_分流操作-----------------------    12:24
    P027.尚硅谷_Flink-流处理API_Transform(五)_合流操作----------------------    19:55
    P028.尚硅谷_Flink-流处理API_Flink支持的数据类型----------------------------    09:41
    P029.尚硅谷_Flink-流处理API_函数类和富函数类------------------------------    19:41
    P030.尚硅谷_Flink-流处理API_Sink(一)_文件-----------------------------    18:55
    P031.尚硅谷_Flink-流处理API_Sink(二)_Kafka--------------------------    10:45
    P032.尚硅谷_Flink-流处理API_Sink(三)_Redis--------------------------    18:30
    P033.尚硅谷_Flink-流处理API_Sink(四)_ElasticSearch-------------------    16:43
    P034.尚硅谷_Flink-流处理API_Sink(五)_MySQL----------------------------    17:48
    P035.尚硅谷_Flink-流处理API_Window API_窗口概念-----------------------    07:22
    P036.尚硅谷_Flink-流处理API_Window API_窗口类型------------------------    10:13
    P037.尚硅谷_Flink-流处理API_Window API_窗口分配器---------------------------    27:17
    P038.尚硅谷_Flink-流处理API_Window API_窗口函数及其它可选API----------------    21:00
    P039.尚硅谷_Flink-流处理API_Window API_窗口计算测试-------------------------    15:07
    P040.尚硅谷_Flink-时间语义------------------------------------------------    17:57
    P041.尚硅谷_Flink-时间语义的设置-----------------------------------------    04:33
    P042.尚硅谷_Flink-Watermark概念--------------------------------------------    19:06
    P043.尚硅谷_Flink-Watermark原理和特点--------------------------------------    15:58
    P044.尚硅谷_Flink-Watermark传递-------------------------------------------    08:09
    P045.尚硅谷_Flink-Watermark代码中引入------------------------------------    16:33
    P046.尚硅谷_Flink-自定义Watermark生成机制--------------------------------    07:10
    P047.尚硅谷_Flink-事件时间语义下的窗口测试------------------------------    16:12
    P048.尚硅谷_Flink-窗口起始点的确定-------------------------------------    09:21
    P049.尚硅谷_Flink-状态管理(一)_状态的概念-----------------------------    08:08
    P050.尚硅谷_Flink-状态管理(二)_算子状态和键控状态-----------------------    15:14
    P051.尚硅谷_Flink-状态管理(三)_状态在代码中的定义和使用------------------    27:25
    P052.尚硅谷_Flink-状态编程示例(一)-------------------------------------    17:15
    P053.尚硅谷_Flink-状态编程示例(二)-------------------------------------    17:30
    P054.尚硅谷_Flink-ProcessFuntion_基本概念和使用--------------------------    23:24
    P055.尚硅谷_Flink-ProcessFuntion_定时器应用示例----------------------------    32:50
    P056.尚硅谷_Flink-ProcessFuntion_侧输出流应用示例--------------------------    09:45
    P057.尚硅谷_Flink-状态后端-------------------------------------------------    15:36
    P058.尚硅谷_Flink-容错机制_检查点概念和原理-------------------------------    13:31
    P059.尚硅谷_Flink-容错机制_检查点算法--------------------------------------    25:46
    P060.尚硅谷_Flink-容错机制_checkpoint配置----------------------------------    26:29
    P061.尚硅谷_Flink-容错机制_重启策略配置------------------------------------    08:21
    P062.尚硅谷_Flink-保存点-------------------------------------------------    07:32
    P063.尚硅谷_Flink-状态一致性_基本概念-----------------------------------    10:46
    P064.尚硅谷_Flink-状态一致性_Flink端到端状态一致性的保证----------------    08:43
    P065.尚硅谷_Flink-状态一致性_幂等写入和事务写入-------------------------    23:35
    P066.尚硅谷_Flink-状态一致性_Flink与Kafka连接的状态一致性--------------------    18:20
    P067.尚硅谷_Flink-Table API和Flink SQL_基本概念和示例程序---------------------    22:03
    P068.尚硅谷_Flink-Table API和Flink SQL_基本程序结构--------------------------    09:22
    P069.尚硅谷_Flink-Table API和Flink SQL_表执行环境--------------------------    15:43
    P070.尚硅谷_Flink-Table API和Flink SQL_表的概念和从文件读取数据-----------------    19:14
    P071.尚硅谷_Flink-Table API和Flink SQL_从Kafka读取数据-------------------------    09:29
    P072.尚硅谷_Flink-Table API和Flink SQL_表的查询转换------------------------------    11:04
    P073.尚硅谷_Flink-Table API和Flink SQL_DataStream和表的转换-------------------    08:25
    P074.尚硅谷_Flink-Table API和Flink SQL_输出到文件-----------------------------    25:14
    P075.尚硅谷_Flink-Table API和Flink SQL_更新模式------------------------------    10:51
    P076.尚硅谷_Flink-Table API和Flink SQL_Kafka管道测试--------------------------    17:41
    P077.尚硅谷_Flink-Table API和Flink SQL_输出到ES-------------------------------    18:18
    P078.尚硅谷_Flink-Table API和Flink SQL_输出到MySQL----------------------------    08:09
    P079.尚硅谷_Flink-Table API和Flink SQL_表转换成流------------------------------    11:34
    P080.尚硅谷_Flink-Table API和Flink SQL_流处理和SQL查询的不同------------------    07:07
    P081.尚硅谷_Flink-Table API和Flink SQL_动态表和持续查询----------------------    12:24
    P082.尚硅谷_Flink-Table API和Flink SQL_持续查询示例具体过程-----------------    12:50
    P083.尚硅谷_Flink-Table API和Flink SQL_时间特性(一)_处理时间-----------------    20:16
    P084.尚硅谷_Flink-Table API和Flink SQL_时间特性(二)_事件时间------------------    14:16
    P085.尚硅谷_Flink-Table API和Flink SQL_窗口(一)_分组窗口---------------------    13:11
    P086.尚硅谷_Flink-Table API和Flink SQL_窗口(二)_分组窗口测试--------------------    18:43
    P087.尚硅谷_Flink-Table API和Flink SQL_窗口(三)_Over窗口-----------------------    11:58
    P088.尚硅谷_Flink-Table API和Flink SQL_窗口(四)_Over窗口测试------------------------    13:03
    P089.尚硅谷_Flink-Table API和Flink SQL_函数(一)_系统内置函数----------------------    11:04
    P090.尚硅谷_Flink-Table API和Flink SQL_函数(二)_UDF函数_标量函数-----------------    14:39
    P091.尚硅谷_Flink-Table API和Flink SQL_函数(三)_UDF函数_表函数---------------------    17:19
    P092.尚硅谷_Flink-Table API和Flink SQL_函数(四)_UDF函数_聚合函数----------------    26:58
    P093.尚硅谷_Flink-Table API和Flink SQL_函数(五)_UDF函数_表聚合函数-------------    27:56
    P094.尚硅谷_Flink项目-电商用户行为分析_批处理和流处理以及项目选型---------------    08:12
    P095.尚硅谷_Flink项目-电商用户行为分析_用户行为分析应用场景----------------------    15:27
    P096.尚硅谷_Flink项目-电商用户行为分析_模块设计和数据分析------------------------    09:12
    P097.尚硅谷_Flink项目-电商用户行为分析_模块需求分析_实时热门商品统计(一)--------    21:03
    P098.尚硅谷_Flink项目-电商用户行为分析_模块需求分析_实时热门商品统计(二)---------    09:07
    P099.尚硅谷_Flink项目-电商用户行为分析_模块需求分析_其它需求-------------------    10:04
    P100.尚硅谷_Flink项目-电商用户行为分析_项目框架搭建---------------------------------    10:22
    P101.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(一)_窗口聚合--------------------    27:55
    P102.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(二)_排序统计输出--------------------------    27:14
    P103.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(三)_从Kafka消费数据测试------------------    20:51
    P104.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(四)_批量消费Kafka数据测试----------------    10:03
    P105.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(五)_Table API和SQL实现-------------------    28:43
    P106.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(一)_开窗聚合统计--------------------    26:06
    P107.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(二)_统计结果排序输出-----------------    09:47
    P108.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(三)_乱序数据的处理-------------------    21:04
    P109.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(四)_保证状态更新结果正确--------------    21:41
    P110.尚硅谷_Flink项目-电商用户行为分析_PV统计(一)_基本实现---------------------------------------    20:39
    P111.尚硅谷_Flink项目-电商用户行为分析_PV统计(二)_数据并行的优化--------------------------------    19:22
    P112.尚硅谷_Flink项目-电商用户行为分析_UV统计(一)_基本实现--------------------------------------    15:28
    P113.尚硅谷_Flink项目-电商用户行为分析_UV统计(二)_布隆过滤器去重思路和程序架构-------------------    30:48
    P114.尚硅谷_Flink项目-电商用户行为分析_UV统计(三)_布隆过滤器简单实现-----------------------------    09:12
    P115.尚硅谷_Flink项目-电商用户行为分析_UV统计(四)_UV去重的布隆过滤器实现-------------------------    23:32
    P116.尚硅谷_Flink项目-电商用户行为分析_APP市场推广统计(一)_自定义数据源-------------------------    17:03
    P117.尚硅谷_Flink项目-电商用户行为分析_APP市场推广统计(二)_开窗聚合统计输出---------------------    20:44
    P118.尚硅谷_Flink项目-电商用户行为分析_广告点击量统计分析(一)_基本需求实现-----------------------    19:19
    P119.尚硅谷_Flink项目-电商用户行为分析_广告点击量统计分析(二)_刷单行为过滤思路和整体框架---------    14:28
    P120.尚硅谷_Flink项目-电商用户行为分析_广告点击量统计分析(三)_刷单行为过滤代码实现--------------    23:20
    P121.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(一)_实现思路和代码框架--------------------    18:17
    P122.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(二)_具体代码实现---------------------------    18:21
    P123.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(三)_代码改进-------------------------------    18:19
    P124.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(四)_CEP代码实现---------------------------    30:33
    P125.尚硅谷_Flink项目-电商用户行为分析_CEP简介(一)_CEP介绍及Pattern API整体概念----------------    12:24
    P126.尚硅谷_Flink项目-电商用户行为分析_CEP简介(二)_个体模式-----------------------------------    12:41
    P127.尚硅谷_Flink项目-电商用户行为分析_CEP简介(三)_模式序列-------------------------------------    10:24
    P128.尚硅谷_Flink项目-电商用户行为分析_CEP简介(四)_模式的检测和事件处理-------------------------    09:50
    P129.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(一)_实现思路和程序架构--------------------    19:50
    P130.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(二)_CEP具体代码实现-----------------------    17:29
    P131.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(三)_流式输入数据测试--------------------    06:42
    P132.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(四)_ProcessFunction代码实现-------------    32:20
    P133.尚硅谷_Flink项目-电商用户行为分析_双流实时对账(一)_需求分析和整体架构--------------    13:50
    P134.尚硅谷_Flink项目-电商用户行为分析_双流实时对账(二)_合流代码实现------------------------    22:24
    P135.尚硅谷_Flink项目-电商用户行为分析_Join API(一)_Window Join---------------------------    12:56
    P136.尚硅谷_Flink项目-电商用户行为分析_Join API(二)_Interval Join--------------------------    09:47
    P137.尚硅谷_Flink项目-电商用户行为分析_双流实时对账(三)_Join代码实现-----------------------    09:22

猜你喜欢

转载自blog.csdn.net/wei198621/article/details/119410146