代码天地

068 mapWithState函数的讲解

1.问题　　主要是updateStateByKey的问题　　有的值不需要变化的时候，还会再打印出来。　　每个批次的数据都会出现，如果向redis保存更新的时候，会把不需要变化的值也更新，这个不是我们需要的，我们只需要更新有变化的那部分值。　　 2.mapWithState 　　有一个注解，说明是实验性质的。　　 3.程序 1 package com.stream.it 2 import org.apache.spark.rdd.RDD 3 import org.apache.s

分类: 其他发布时间: 08-15 22:44 阅读次数: 0

KMP详解

引入字符串有一种基本的操作，叫做查找。当你在淘宝上搜索时，就是在查找；当你在百度上搜索时，也是在查找；当你在点子字典上输入一个英文单词的时候，也是在查找。在C++的string库中有一个查找的函数，即str1.find(str2).其中，str1指的是被查找的母串，str2指的是要查找的子串。例如下面一段程序 string str1="Hello World"; string str2="Hel"; printf("%d", str1.find(str2)); 这个程序的返回值是0

分类: 其他发布时间: 08-15 22:44 阅读次数: 0

微信域名防止屏蔽

访问我的博客前言这几日，由于遭到他人的恶意投诉举报，导致了微信中阅读业务的根域名被屏蔽，提示由于我司是做网络文学的，作者的内容中不可避免地会出现些微露骨的内容，但是这些内容是经过了编辑审核之后才公开的，也不至于太露骨，但举报就被封禁了。公司的用户有很多是通过微信公众号进行阅读，这一封，就许多用户过来反馈了。切换域名之痛既然根域名被封了，就只能切换域名了，因为之前代码中有不少的地方域名写死了，没有提取成公共变量，改了好久，才替换成了新的域名。眼看已经修改完了，线上也正常了，都已经晚

分类: 其他发布时间: 08-15 22:44 阅读次数: 0

cassandra学习四数据模型

Keyspace(建空间)：　　可以理解为Database；　　Replication factor: 复制因数；　　 Replica placement srategy: 复制策略，默认是SimpleStrategy Column Family(列族) / Column (列)　　　可以理解为table；　　 Column 包含了Timestamp。作用是当有新数据覆盖的时候，部署直接将老数据从存储介质上删除，而是直接写入新数据。老数据会在一段时间后删除。 Row可以理解为一条记

分类: 其他发布时间: 08-15 22:44 阅读次数: 0

解决WebMagic抓HTTPS时出现SSLException

访问我的博客前言在今年二月份在项目中引入了 WebMagic 技术，用来抓取合作方的书籍，详见之前文章：WebMagic之爬虫监控，这两天新接入了一个合作商，对方接口采取的是 HTTPS 协议，而以前合作商的接口全都是 HTTP 的，在接入这家合作商的时候，发现了问题，只要是 HTTPS 的 URL 全部无法爬取。一、问题复现在 WebMagic-core 包中，us.codecraft.webmagic.processor.example.GithubRepoPageProcesso

分类: 其他发布时间: 08-15 22:44 阅读次数: 0

【算法笔记】- 堆

堆堆（一）存储（二）基本操作实现（以大顶堆为例）（一）存储堆是一棵完全二叉树：使用数组存储结点结点按层序存储在数组中，第一个结点存储在1号位，i号位结点的左右孩子分别存储在2i和2i+1号位（二）基本操作实现（以大顶堆为例） 1、建堆（数据提前保存在数组中，只需调整为大顶堆即可）思路：由于完全二叉树的叶节点个...

分类: 其他发布时间: 08-15 22:40 阅读次数: 0

【算法笔记】- 哈夫曼树

哈夫曼树很多题目不需要真的构造一个哈夫曼树，只需要能得到最终的带权路径长度即可；因此先掌握哈夫曼树的构建思想，即反复选择最小的两个元素进行合并，直到只剩下一个元素即可实现：可使用优先队列（堆结构）进行来执行这种策略样例 //哈夫曼树思想 - 优先队列实现最佳合并 priority_queue&lt;int, vector&lt;int&gt;, greater...

分类: 其他发布时间: 08-15 22:40 阅读次数: 0

【算法笔记】- 树和二叉树

分类: 其他发布时间: 08-15 22:40 阅读次数: 0

程序员一定要学好的几门技术

程序员一定要学好的几门技术作为一个程序员也有自己的基本功无论任何程序员应该都需要学好一下内容 1。一门自己的精通的语言+一门脚本语言作为任何程序员都必须有一门自己精通的语言，因为这是你生产程序的必备工具，java也好，C/C++也好，GO也好，主要看你的应用场景，语言不在于多，在你的应用场景中用得得心应手即可。一门脚本语言，主要是为了解决自动化的问题，程序存在的本身就是让人们从反...