【Flink】Flink作业调度流程分析
1. 概述 当向Flink集群提交用户作业时，从用户角度看，只需要作业处理逻辑正确，输出正确的结果即可；而不用关心作业何时被调度的，作业申请的资源又是如何被分配的以及作业何时会结束；但是了解作业在运行时的具体行为对于我们深入了解Flink原理有非常大的帮助，并且对我们如何编写更合理的作业逻辑有指导意义，因此本文详细分析作业的调度及资源分配以及作业的生命周期。 2. 流程分析 基于社区master主线（1.11-SNAPSHOT），commit: 12f7873db54cfbc5bf853d66
itchat 爬了爬自己的微信通讯录
参考 一件有趣的事： 爬了爬自己的微信朋友 忘记从谁那里看到的了，俺也来试试 首先在annconda prompt里面安装了itchat包 pip install itchat 目前对python这里还不太熟，只能说，这是哪个大神写好的包呢？希望有一天俺也能自己写包，发包 在jupyter notebook上面完成的，这个小的记事本太好使了 安装完成后导入包，再登陆自己的微信。过程中会生产一个登陆二维码，扫码之后即可登陆。登陆成功后，把自己好友的相关信息爬下来 登录自己的微信，会自动弹出一个二
angular ngrx
routing: Route can loadChildren:loadChildrenCallback; path; pathMatcher; NgModuleFactory { path: 'list', loadChildren: () => import("./list/list.module").then(mod => mod.ListModule) } { path: 'list', loadChildren: () => of() //? observable<Type>
【python系统学习07】一张图看懂字典并学会操作
点击跳转 - 原文地址 数据类型 - 字典(dict) 目录： 一张图get字典 字典是什么 js的对象 字典长啥样 语法伪代码 示例demo 语法成像 字典怎么用 字典长度获取——len函数 提取字典中的元素 嵌套提取 往字典中增加元素 删除字典中的元素 对比列表的异同 相同点 不同点 练习题 一张图get字典 一张图get字典的些许知识点 如果图中知识点描述过于概括，请看下列细文： 字典是什么 js的对象 说到字典，前端同学可以理解其为：对象。因为python中的字典和js中的对象长的不能
k8s声明式API介绍
声明式API 所谓“声明式”,指的就是我只需要提交一个定义好的 API 对象来“声明”,我所期望的状态是什么样子 “声明式 API”允许有多个 API 写端,以 PATCH 的方式对 API 对象进行修改,而无需关心本地原始 YAML 文件的内容 Kubernetes 项目才可以基于对 API 对象的增、删、改、查，在完全无需外界干预的情况下,完成对“实际状态”和“期望状态”的调谐（Reconcile）过程 声明式 API,才是 Kubernetes 项目编排能力“赖以生存”的核心所在 Adm
Spark学习9 Spark Streaming流式数据处理组件学习
目录 SparkStreaming相关概念 概述 SparkStreaming的基本数据抽象DStream 处理模式 操作流程中细节 StreamingContext StreamingContext对象的创建 StreamingContext主要用法 输入源 DStream两种转化 无状态转化操作 有状态转化操作 输出操作 实践（最简单的wordCount） 创建StreamingContext对象 创建DStream对象 对DStream对象操纵 SparkStreaming相关概念 概述
k8s 使用NFS的Volume
1. k8s PV 与 PVC PV 是已经由管理员提供或者动态使用供应的集群中的一块存储的存储类。它是集群中的资源，就像节点是集群资源一样。PV是类似于Volumes的卷插件，但是其生命周期独立于使用PV的任何单个Pod。此API对象捕获NFS，iSCSI或特定于云提供商的存储系统的存储实现的详细信息。 PVC 是由用户进行存储的请求。它类似于豆荚。容器消耗节点资源，PVC消耗PV资源。Pod可以请求特定级别的资源（CPU和内存）。声明可以请求特定的大小和访问模式（例如，可以将它们安装为读/
Django【基础篇-3】
前端模态对话框： 源码可复制粘贴： .hide{
display: none;
}
{#shade遮罩层把满屏都遮住 ,fixed是固定的,opacity透明度#}
.shade{
position: fixed;
top: 0;bottom: 0;left: 0;right: 0;
background: black;
k8s 访问 自己搭建的私库
1. 创建访问Secret kubectl create secret docker-registry my-registry-key \
--docker-server=192.168.0.200:30082 \
--docker-username=admin \
--docker-password=123456 2. 拉取镜像的配置 apiVersion: apps/v1
kind: Deployment
metadata:
name: spring-boot-demo-deploym
sql查询语句并不是最先执行SELECT
很多的SQL查询语句都是以SELECT关键字开始的，所以我们很容易会以为SQL查询语句就是最先执行的SELECT。不过，当我尝试跟别人解释什么是窗口函数的时候，针对是否可以对窗口函数返回的结果进行过滤这个问题，最终得出的结论是窗口函数的执行必须在WHERE子句和GROUP BY子句之后，所以不能对窗口函数返回的结果进行再次过滤。于是我又想到了另一个问题：SQL查询的执行顺序究竟是怎样的？ 这个问题好像应该很好回答，毕竟自己已经写了成千上万个SQL查询了，其中的一些还很复杂。但事实是，我仍然很难
java - 阻塞队列
阻塞队列各实现类 类 说明 ArrayBlockingQueue 由数组结构组成的有界阻塞队列 LinkedBlockingQueue 由链表结构组成的有界阻塞队列（默认容量为Integer.MAX_VALUE） PriorityBlockingQueue 支持优先级排序的无界阻塞队列 DelayQueue 使用优先级队列实现的延迟无界阻塞队列 SynchronousQueue 不存储元素的阻塞队列，也即单个元素的队列 LinkedTransferQueue 由链表结构组成的无界阻塞队列 Li
Python Collections
原创转载请注明出处：https://www.cnblogs.com/agilestyle/p/12232548.html collections模块提供了一些可以替换Python标准内建容器如dict、list、set和tuple等的选择。 Counter类型 它是dict的子类，提供了可哈希对象的计数功能。 假设需要统计某个字符串列表中重复项出现的次数，只要实现如下代码即可 from collections import Counter
counter = Counter()
for l
CPP流类库与输入输出
最重要的三个输出流 ostream ofstream ostringstream 预先定义的输出流对象 cout 标准输出 cerr 标准错误输出，没有缓冲，发送给它的内容立即被输出。 clog 类似于cerr，但是有缓冲，缓冲区满时被输出。 标准输出换向 ofstream fout("b.out");//自动打开文件，并且绑定到fout这个对象
streambuf* pOld =cout.rdbuf(fout.rdbuf()); cout的绑定到fout，而不是标准输入输出设备（显示器
手写数字识别——利用keras高层API快速搭建并优化网络模型
在《手写数字识别——手动搭建全连接层》一文中，我们通过机器学习的基本公式构建出了一个网络模型，其实现过程毫无疑问是过于复杂了——不得不考虑诸如数据类型匹配、梯度计算、准确度的统计等问题，但是这样的实践对机器学习的理解是大有裨益的。在大多数情况下，我们还是希望能多简单就多简单地去搭建网络模型，这同时也算对得起TensorFlow这个强大的工具了。本节，还是以手写数据集MNIST为例，利用TensorFlow2.0的keras高层API重现之前的网络。 一、数据的导入与预处理 关于这个过程，与上节
周排行