Flink的window机制(一)
版权声明：原创文章，转载请注明出处 https://blog.csdn.net/xianpanjia4616/article/details/85010182 Flink中的window操作是非常丰富的,不得不承认这一点要比spark做的好很多,由于Flink的window机制是比较复杂的,也比较的难理解,所以我会分几篇去介绍他,下面我们一起揭开它神秘的面纱,听我细细道来. 什么是Windows? 窗口是无限流处理的核心部分,窗口把无限的流分成了有限大小的桶,我们可以在桶上面进行计算,这篇文章
Flink的window操作之Window Functions(二)
版权声明：原创文章，转载请注明出处 https://blog.csdn.net/xianpanjia4616/article/details/85020049 上一篇中介绍了Flink中的window操作,接着介绍一下窗口函数. Window Functions 在定义了窗口分配器之后呢,我们需要为每一个窗口明确的指定计算,这个就是窗口函数要做的事情,当系统决定一个窗口已经准备好执行之后，这个窗口函数将被用来处理窗口中的每一个元素(可能是分组的)。 窗口函数可以是ReduceFunction,
Spark和Flink的对比(谁是下一代大数据流计算引擎?)
版权声明：原创文章，转载请注明出处 https://blog.csdn.net/xianpanjia4616/article/details/85076247 最近也是有很多同学问我spark和flink到底谁好,应该怎么选择,这也是近年来被问的最多的问题,也是经常被拿来比较的,今天就简单的做一个对比,我没有要挑起spark和flink之间的战争,社区间取长补短也好,互相抄袭也罢,我尽量站在一个公平的角度对待他们.下面会从多个方面对两者进行分析(当然有不全面),希望对大家有所帮助.篇幅较长,望
Hbase的Rowkey设计以及如何进行预分区
版权声明：原创文章，转载请注明出处 https://blog.csdn.net/xianpanjia4616/article/details/85254643 今天有人问我Hbase的rowkey设计和预分区的问题,这篇文字就简单介绍一下.,关于Hbase的表的一些基本概念这里就不说了,直接说重点,尽可能说的简单一点,废话就不写了. 1.什么是Rowkey? 我们知道Hbase是一个分布式的、面向列的数据库，它和一般关系型数据库的最大区别是：HBase很适合于存储非结构化的数据，还有就是它基于
sparkstreaming实时写入Hbase(saveAsNewAPIHadoopDataset方法)
版权声明：原创文章，转载请注明出处 https://blog.csdn.net/xianpanjia4616/article/details/85301998 之前的博客中也写过sparkstreaming批量写入hbase,今天主要介绍一下用新的API写入Hbase,直接看代码吧:
package hbase
import kafka.PropertiesScalaUtils
import net.sf.json.JSONObject
import org.apache.hadoop.h
org.apache.spark.rdd.MapPartitionsRDD cannot be cast to org.apache.spark.streaming.kafka010.HasOffse
版权声明：原创文章，转载请注明出处 https://blog.csdn.net/xianpanjia4616/article/details/85871063 最近有很多同学来问我这个问题,说我的代码啥也没改呀,昨天晚上还运行的好好的,第二天早上再运行就报错了,org.apache.spark.rdd.MapPartitionsRDD cannot be cast to org.apache.spark.streaming.kafka010.HasOffsetRanges,怎么都运行不了,这个
centos7安装mysql5.6.38史上最详细的安装步骤
版权声明：原创文章，转载请注明出处 https://blog.csdn.net/xianpanjia4616/article/details/86323779 最近由于要用到mysql,就想着装一个mysql,但是因为我的虚拟机是centos7的,centos7将默认数据库mysql替换成了Mariadb安装起来就比较的麻烦,遇到各种各样的问题,网上的教程很多,但是基本没有好使的,按照他们的步骤到最后没有一个成功的,搞了很长时间才装好,我记得之前在centos6.5上面安装也没那么复杂啊,但是
hive2.2.0安装与配置(元数据保存在mysql中)
版权声明：原创文章，转载请注明出处 https://blog.csdn.net/xianpanjia4616/article/details/86328183 Hive有3中运行模式,今天主要来介绍一下把元数据保存在mysql中的配置方法. (1)内嵌模式 将元数据保存在本地内嵌的 Derby 数据库中，这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显，因为一个内嵌的 Derby 数据库每次只能访问一个数据文件，这也就意味着它不支持多会话连接。 (2)本地模式 这种模式是将元数据保
Flink是如何实现exactly-once语义的
版权声明：原创文章，转载请注明出处 https://blog.csdn.net/xianpanjia4616/article/details/86375224 Flink跟其他的流计算引擎相比,最突出或者做的最好的就是状态的管理.什么是状态呢?比如我们在平时的开发中,需要对数据进行count,sum,max等操作,这些中间的结果(即是状态)是需要保存的,因为要不断的更新,这些值或者变量就可以理解为是一种状态,拿读取kafka为例,我们需要记录数据读取的位置(即是偏移量),并保存offest,这
Flink各种报错汇总
版权声明：原创文章，转载请注明出处 https://blog.csdn.net/xianpanjia4616/article/details/86644800 这篇文章主要用来记录一下Flink中的常见的报错以及解决方案(以后会持续更新) 1,Table is not an append-only table. Use the toRetractStream() in order to handle add and retract messages. 这个是因为动态表不是append-only
Flink SQL之Retraction(撤回流)
版权声明：原创文章，转载请注明出处 https://blog.csdn.net/xianpanjia4616/article/details/86652308 什么是retraction（撤回） 通俗讲retract就是传统数据里面的更新操作，也就是说retract是流式计算场景下对数据更新的处理方式。 首先来看下流场景下的一个词频统计列子。 没有retract会导致最终结果不正确↑： 通过上面两个图可以很清楚的看到retract的作用,下面我们看一个具体的demo;
package fli
单例模式Double-Checked
这里主要用Double-Checked和Volatile实现单例模式 （双重检查锁定模式）
DCL单例模式: 懒汉式套路基础上加入并发控制，保证在多线程环境下，对外存在一个对象
1、构造器私有化 -->避免外部new构造器
2、提供私有的静态属性 -->存储对象的地址
3、提供公共的静态方法 --> 获取属性
public class DoubleCheckedLocking {
//2、提供私有的静态属性
//没有volatile其他线程可能访问一个没有初
Windows Server 2016-ActiveDirectory新增功能补充
之前WindowsServer2016-WinSer2016ActiveDirectory新增功能请添加链接描述有介绍ActiveDirectory新增功能，今天对之前内容简单做下补充，如下：WindowsServer2016时间同步的改进，虽然时间同步可能只是一个小细节，但它可能足以影响整个ActiveDirectory部署的身份验证和操作。时间同步涉及确保所有域成员从域控制器获得准确的同步时间
springMVC传递list对象三种方法
前言 概念 1.ajax请求里Content-type2个常用类型 JSON对象和JSON字符串 dataType与contentType 对象复杂度 dispatchServlet-mvc.xml配置 最简单：单个数组对象和key-value就比较简单了 前端 后端 稍微复杂：只接收对象数组 前端 后端 最复杂：对象数组与key-value一起传 前端 后台 前言 springMVC接收List对象以及List对象与其它对象一起传参数的使用方法 概念 1.ajax请求里Content-typ
SpringMVC用List接收请求参数
spring MVC后台处理数组对象。 list类型的参数，接收前台的数组值，实验了一下，结果还真可以。 不用绑定到对象里面。 当然我这个是前台传递了个包含的是string的数组到后台，然后，后台用list来接收。 具体如下： 前台代码：
//发送请求到后台，带数组形式的数据。
function testList() {
var data = getTreeViewCheckedData();
$.ajax({
url: APP_NAME + "xxxx/te
SpringMVC用map接收请求参数的问题
一：遇到个跨域调用，因为传个我的参数不定，所以需要通过map来接收参数并进行签名验证等操作 写出了下面的代码，但是发现map里并没有获取到传来的key-value值
@RequestMapping(value = "/callback", produces = "text/html;charset=UTF-8")
@ResponseBody
public String callback(@RequestBody Map<String, String> params) {
git开发流程和常用命令
开发人员 一、GIT环境准备 1.git配置 2.fork 3.git clone <remote url> 4.建立远程库连接 二、git开发流程 1.开发 2.同步远程库代码 3.将代码同步到个人库origin 4.提交merge request 一、GIT环境准备 1.git配置 环境准备阶段，本地安装git后，配置git的全局变量。 环境准备阶段，本地安装git后，配置git的全局变量。
git config --global user.name "your.name” git co
FreeMarkerUtils
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.io.StringWriter;
import java.io.Writer;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Locale;
i
mongodb查询的结果排序
前段时间做动态导出Excel（导出字段可选），要对导出的字段进行排序，由于要先去pgsql进行查询，然后映射成表名和条件再去mongodb再查询，这样会出现一个问题：在pgql查询的时候是有序的，但是在去mongodb查询的时候完毕，结果就没有顺序了，但是，最终导出要按字段排序，怎么办呢？后来自己写了工具类进行实现。 注意事项：要用LinkedHashMap
import org.apache.commons.lang.StringUtils;
import java.util.*;
pub
OpenFlow交换机 之 流表
转载地址：http://book.2cto.com/201310/34136.html 所谓流表，其实可被视作是OpenFlow对网络设备的数据转发功能的一种抽象。在传统网络设备中，交换机和路由器的数据转发需要依赖设备中保存的二层MAC地址转发表或者三层IP地址路由表，而OpenFlow交换机中使用的流表也是如此，不过在它的表项中整合了网络中各个层次的网络配置信息，从而在进行数据转发时可以使用更丰富的规则。流表中每个表项的结构如图2-3所示。 图2-3 OpenFlow流表项结构 如图2-3所
今日推荐
周排行