Flink--maven工程搭建

Pom文件scala版本:2.12.11<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/xsd
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

Flink--批处理HelloWorld

批处理WordCount第一步:创建批处理执行环境ExecutionEnvironment.getExecutionEnvironment然后这里需要import:import org.apache.flink.api.scala.ExecutionEnvironmentimport org.apache.flink.api.java.ExecutionEnvironment注意:使用scala api又需要引入java东西,所有很多类名称一样,所以引入的时候要注意引入的名称。这里引入scala
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

Flink--流处理HelloWold

流处理HelloWold第一步: 创建流处理执行环境val env:StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment同样的需要导包,根据批处理的经验直接import org.apache.flink.streaming.api.scala._第二步: 接受Socket文本流为了实现流式数据的发送需要nc工具。首先代码中监控一个端口:val inputDataStream:DataSt
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

Flink--流处理API划分

流处理API划分算子操作一共分为三大部分。首先是执行环境:enviromentsource:读取数据输入transform:做转换计算sink:做输出
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

Flink--Environment

获取当前程序的上下文批处理:val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment流处理:val env = StreamExecutionEnvironment.getExecutionEnvironment这里涉及不同的底层实现。在idea和生产环境中的执行环境是不同的getExecutionEnvironment底层会自动帮我们判断是本地环境还是集群生产环境然后以此调用://本地执行
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

Flink--Source(集合,文件)

从集合、文件中读取数据基于Flink快速,灵巧,实时性高的特点以温度传感器的数据采集为场景做练习。------集合------第一步:定义传感器样例类case class SensorReading(id:String,timeStamp:Long,temperature:Double)第二步:创建执行环境(流式数据)val env = StreamExecutionEnvironment.getExecutionEnvironment第三步:定义数据源集合val sensorList
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

java IO流之FileInputStream 字节读入流 构造方法 实例化

FileInputStreamFileInputStream 从文件系统中的某个文件中获得输入字节。哪些文件可用取决于主机环境。用于读取诸如图像数据之类的原始字节流。如果文件是文本文件,那么就不要使用字节流读取了,建议使用字符流FileReader。在UTF-8格式文件中,英文字符 底层实际占用1个字节,中文字符 底层实际占用3个字节。构造方法FileInputStream(File file) 通过打开一个到实际文件的连接来创建一个 FileInputStream,该文件
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

java IO流之FileOutputStream 字节输出流 方法 复制图片类字节流文件实例

java IO流之字节输出流 FileOutputStream文件输出流是用于将数据写入 File 或 FileDescriptor 的输出流。文件是否可用或能否可以被创建取决于基础平台。特别是某些平台一次只允许一个 FileOutputStream(或其他文件写入对象)打开文件进行写入。在这种情况下,如果所涉及的文件已经打开,则此类中的构造方法将失败。FileOutputStream 用于写入诸如图像数据之类的原始字节的流。要写入字符流,请考虑使用 FileWriter。在UTF-
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

java IO流之BufferedInputStream BufferedOutputStream 缓冲字节流 复制文件实例

java IO流之BufferedInputStream、 BufferedOutputStream缓冲字节流对比几种字节流访问方式使用缓冲区字节流能减少访问存储器的次数,加快运行速度,延长存储器使用年限想要完成缓冲区的效果,单纯的靠File-In/Out-putStream是不能完成的,这个时候就需要引入新的流(在File-In/Out-putStream外面再套一层流):BufferedInputStream ,BufferedOutputStream。BufferedInputStream
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

java IO流之缓冲字符流BufferedReader BufferedWriter 方法 实例 LineNumberReader加行号

java IO流之缓冲字符流BufferedReader BufferedWriter 方法 实例 LineNumberReader加行号BufferedReader从字符输入流中读取文本,缓冲各个字符,从而实现字符、数组和行的高效读取。 可以指定缓冲区的大小,或者可使用默认的大小。大多数情况下,默认值就足够大了。建议用 BufferedReader 包装所有其 read() 操作可能开销很高的 Reader(如 FileReader 和 InputStreamReader)。将缓冲指定文件
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

java IO流之InputStreamReader OutputStreamWriter 转换流 复制文件实例

java IO流之InputStreamReader OutputStreamWriter 转换流作用:将字节流和字符流进行转换。转换流属于字符流InputStreamReader :字节输入流 -->字符的输入流OutputStreamWriter : 字符输出流 -->字节的输出流InputStreamReaderInputStreamReader 是字节流通向字符流的桥梁:它使用指定的 charset读取字节并将其解码为字符。它使用的字符集可以由名称指定或显
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

java IO流之System.in & System.out 控制台输出保存至文件

java IO流之System.in & System.out 控制台输出保存至文件System 类包含一些有用的类字段和方法。它不能被实例化。字段摘要static PrintStream err“标准”错误输出流。static InputStream in“标准”输入流。默认情况下 从键盘输入static PrintStream out“标准”输出流。默认情况下,输出到控制台。System.in得到的是标准的输入流:–>从键盘输入:InputStream in
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

java IO流之DataInputStream DataOutputStream 数据流 实例

java IO流之DataInputStream DataOutputStream 数据流数据流:用来操作基本数据类型(byte short int long double float char boolean)和字符串(String)DataInputStream将文件中存储的基本数据类型和字符串写入内存的变量中。数据输入流允许应用程序以与机器无关方式从底层输入流中读取基本 Java 数据类型。应用程序可以使用数据输出流写入稍后由数据输入流读取的数据。构造方法摘要DataInputStream
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

java IO流之对象流ObjectInputStream ObjectInputStream 自定义类 Serializable 序列化与反序列化

java IO流之对象流ObjectInputStream ObjectInputStream对象流:用于存储和读取基本数据类型数据或对象的处理流。它的强大之处就是可以把Java中的对象写入到数据源中,也能把对象从数据源中还原回来。序列化和反序列化:ObjectOutputStream 类 : 把内存中的Java对象转换成平台无关的二进制数据,从而允许把这种二进制数据持久地保存在磁盘上,或通过网络将这种二进制数据传输到另一个网络节点。序列化ObjectInputStream类 : 当其它
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

线性表 数组链表

线性表 数组链表数据结构是计算机存储、组织数据的方式。数据结构是指相互之间存在一种或多种特定关系的数据元素的集合。通常情况下,精心选择的数据结构可以带来更高的运行或者存储效率。数据结构往往同高效的检索算法和索引技术有关。即在计算机的缓存,内存,硬盘中如何组织管理数据的。重点在结构上,是按照什么结构来组织管理数据。数据结构分为:逻辑结构 :思想上的结构–>线性表(数组,链表),图,树,栈,队列物理结构 :真实结构–>紧密结构(顺序结构),跳转结构(链式结构)线性表线性表的逻辑结构如
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

java 集合及分类

java 集合数组,集合都是对多个数据进行存储(内存层面)操作的,简称为容器。在了解集合之前首先看一下数组的一些特点数组一旦指定了长度,那么长度就被确定了,不可以更改。int[] arr = new int[6];数组一旦声明了类型以后,数组中只能存放这个类型的数据。数组中只能存放同一种类型的数据。int[] arr,String[] s,double[] d…也因此数组有以下缺点:数组一旦指定了长度,那么长度就被确定了,不可以更改。删除、增加元素 效率低。数组中实
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

java 集合之Collection接口 方法 集合遍历

java 集合之Collection接口 方法 集合遍历是Collection 层次结构 中的根接口。Collection 表示一组对象,这些对象也称为 collection 的元素。一些 collection 允许有重复的元素,而另一些则不允许。一些 collection 是有序的,而另一些则是无序的。所有通用的 Collection 实现类(通常通过它的一个子接口间接实现 Collection)应该提供两个“标准”构造方法:一个是 void(无参数)构造方法,用于创建空 collection;
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

Java 集合之List接口 方法 遍历

Java 集合之List接口有序collection(也称为序列)。 此接口的用户可以对列表中每个元素的插入位置进行精确地控制。 用户可以通过它们的整数索引(在列表中的位置)访问元素,并在列表中搜索元素。与set不同,列表通常允许重复元素。 更确切地讲,列表通常允许满足 e1.equals(e2) 的元素对 e1 和 e2,并且如果列表本身允许 null 元素的话,通常它们允许多个 null 元素。 难免有人希望通过在用户尝试插入重复元素时抛出运行时异常的方法来禁止重复的列表,但我们希望这种
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

Java 集合之ArrayList类

Java 集合之ArrayListList 接口的可调整大小的数组实现。 实现所有可选的列表操作,并允许包括 null 在内的所有元素。 除了实现 List 接口之外,该类还提供了操作内部用于存储列表的数组大小的方法。 (这个类大致相当于 Vector,只是它是不同步的。)size、isEmpty、get、set、iterator 和 listIterator 操作在恒定时间内运行。 add 操作以分摊的固定时间 运行,即添加 n 个元素需要 O(n) 时间。 所有其他操作都在线性时间内运行(大体上讲
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0

java 泛型 定义 类 方法 通配符 泛型受限

java 泛型定义泛型(Generic)就相当于标签形式:<> ,Collection<E>, List<E>, ArrayList<E>这个<E>就是类型参数,即泛型。除了元素的类型不确定,其他的部分是确定的,例如关于这个元素如何保存,如何管理等是确定的,因此把元素的类型设计成一个参数,这个类型参数叫做泛型。集合容器类在设计阶段/声明阶段不能确定这个容器到底实际存的是什么类型的对象,所以在JDK1.5之前只能把元素类型
分类: 其他 发布时间: 11-26 09:46 阅读次数: 0