Spark Streaming的还原药水——Checkpoint
一个 Streaming Application 往往需要7*24不间断的跑，所以需要有抵御意外的能力（比如机器或者系统挂掉，JVM crash等）。为了让这成为可能，Spark Streaming需要 checkpoint 足够多信息至一个具有容错设计的存储系统才能让 Application 从失败中恢复。Spark Streaming 会 checkpoint 两种类型的数据。Metadata...
SparkStreaming - 写入到mysql ForeachRdd
import java.sql.DriverManager
import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}
object ForeachRDDApp {
def main(args: Array[String]) {
val sparkC...
SparkStreaming 日志双写 直连flume
生产环境中，开发会写入一些测试数据，或者黑名单过滤，或者只抓取黑名单transform 日志双写 ==> log a：正常的 a：test的 黑名单过滤 log black=======================================================================================================...
Spark 各种参数解释总结
1 spark on yarn常用属性介绍属性名默认值属性说明spark.yarn.am.memory512m在客户端模式（client mode）下，yarn应用master使用的内存数。在集群模式（cluster mode）下，使用spark.driver.memory代替。spark.driver.cores1在集群模式（cluster mode）下，driver程序使用的核数。在集群模式（...
Spark会把数据都载入到内存么？
前言很多初学者其实对Spark的编程模式还是RDD这个概念理解不到位，就会产生一些误解。比如，很多时候我们常常以为一个文件是会被完整读入到内存，然后做各种变换，这很可能是受两个概念的误导：RDD的定义，RDD是一个分布式的不可变数据集合Spark 是一个内存处理引擎如果你没有主动对RDDCache/Persist,它不过是一个概念上存在的虚拟数据集，你实际上是看不到这个RDD的数据的全集的(他不会...
本机idea远程调试flume
https://blog.csdn.net/u012373815/article/details/60601118最近又要自定义开发flume source 插件，每次插件打包后运行，不能再编译器里debug 感觉好苦恼。于是今天就看了一下flume 的远程调试。一看感觉挺简单的。所以就分享一下。远程调试flume其实就四步，第一步开启flume的远程调试，第二步拉取flume 源码导入到idea...
标题标签-白板标签-块级标签
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> <!--标题标签--> <!--<h1>h1标签</h1>--> <!--<h2>h2标签</h2>--> <!--<h3>h3标签</h3>--> <!--<h4>h4标签</h4>--> <!--<h5>h5标签</h5>--> <!--<h6>h6标签</h6>--> <!--白板标签-->
input-form-select-a-img-ul-dl标签
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> <!--输入框 input--> <!--value可以不写,默认取输入框里写好的值传给后端 {'username':'jd'}--> <!--<input type="text" name="username" value="" placeholder="请输入用户名">--> <!--<inpu
java数组之binarySearch查找
/**
* 1.如果找到目标对象则返回<code>【公式:-插入点-1】</code>
* 插入点:第一个大与查找对象的元素在数组中的位置,如果数组中的所有元素都小于要查找的对象，“插入点”就等于a.size()
*@date:2018年6月22日
*@author:zhangfs
*/
public class ArraysBinarySearch {
public static void main(String[] args) {
int[] a
Linux网络相关命令firewalld和netfilter、iptables 使用（6/22）
iptables和netfilter的关系： netfilter在内核空间的代码根据table中的rules，完成对packet的分析和处置。但是这些table中的具体的防火墙rules，还是必须由系统管理员亲自编写。内核中的netfilter只是提供了一个机制，它并不知道该怎样利用这个机制，写出合适的rules，来实现一个网络防火墙。 那么，系统管理员编写的rules，怎样进入位于内核空间中的netfilter维护的table中去呢？这个任务是由iptables这个工具来完成的。 说白了就是
for循环和数组练习
//公鸡2文，母鸡1文，小鸡半文，每种至少一只，100文买100只鸡有多少种可能 var ci =0;
for(var g=1;g<50;g++){
for(var m=1;m<100;m++){
for(var x=1;x<100;x++){
if(g*2+m*1+x*(0.5)==100&&g+m+x==100){
ci+=1;
console.log("买公鸡"+g+"只，母鸡"+m+"只，小鸡"+x+"只");
}
}
}
}
co
如何在 JavaScript 中使用绑定
友情链接：https://www.smashingmagazine.com/2014/01/understanding-javascript-function-prototype-bind/?ck_subscriber_id=220268149
软件构造 第七章第五节 测试
第七章第五节 测试 认可"测试"的价值，搞清楚"测试优先"的哲理 程序正确确认的基本方法: 形式化推理 代码评审 测试 白盒测试：对程序内部代码结构的测试 黑盒测试：对程序外部表现出来的行为的测试 基本过程： 先写spec 再写符合spec的测试用例 写代码、执行测试、有问题再改、再执行测试用例，直到通过它 黑盒测试： 划分等价类，注意边界条件 Eg： 在测试类的顶端写策略 在每个测试方法前说明测试用例是如何选择的 （这部分摘自博客https://www.cnblogs.com/zhangyu
jmeter3.0+ant1.10+jenkins实现接口自动化并发送邮件
网上有很多关于接口自动化的文章，此篇仅用于记录自己的学习记录用。jmeter3.0+ant1.10+jenkins实现接口自动化并发送邮件 目录 1、环境准备 2、build.xml准备 3、jenkins配置 1、环境准备 a.装好jdk1.8 确认环境配好了： b.装好ant1.10.1 ant和jmeter一样配置好环境变量就可以使用了，需要配置如下： ANT_HOME=E:\apache-ant-1.10.1 CLASSPATH=E:\apache-ant-1.10.1\lib PAT
自己实现数据结构---ArrayList
1.先上代码： public class ArrayList<E> {
private E[] data;
private int size;
/**
* 构造方法，初始化容量capacity
* @param capacity
*/
public ArrayList(int capacity){
data = (E[]) new Object[capacity];
size = 0;
}
今日推荐
周排行