Python3.X 爬虫实战（缓存与持久化）
缓存与持久化简单说就是 Cache 或者 Persistence 了，这玩意和爬虫有啥关系呢？想象一下如果我们需要对同一个页面进行多次解析，我们前面的代码都会重新发起真实网络请求，这是不合理的，因为短期之内这个页面是不可能有更新的，我们重复拉取是没有意义的；其次我们很多时候爬虫的输出器其实就是需要把爬取的数据依据需求多元化的持久化下来，所以我们有必要先掌握常见的爬虫相关缓存及持久化。
关于getClass().getResourceAsStream(path)跨项目取文件资源返回值为null的报错
关于getClass().getResourceAsStream(path)跨项目取文件资源返回值为null的报错
Python3.X 爬虫实战（动态页面爬取解析）
【工匠若水 http://blog.csdn.net/yanbober 未经允许严禁转载，请尊重作者劳动成果。私信联系我】1 背景不知不觉关于 Python 3.X 爬虫系列已经介绍了如下系列：《正则表达式基础》
《Python3.X 爬虫实战（先爬起来嗨）》
《Python3.X 爬虫实战（静态下载器与解析器）》
《Python3.X 爬虫实战（并发爬取）》
《Python3.X 爬虫实战
Bigdecimal类型判断是否等于0（用equals方法的坑）
1.我之前用来判断Bigdecimal类型是否等于0的方法
b.equals(BigDecimal.ZERO);
用equals方法和BigDecimal.ZERO进行比较。
2.上面方法存在的问题
有一天，调用这个这句代码的时候，传入的确实是0，但却返回false
查看源代码发现：
Bigdecimal的equals方法不仅仅比较值的大小是否相等，首先比较的是scale（sc
Java白皮书的关键术语
Java的设计者已经编写了颇有影响力的白皮书，用来解释设计的初衷以及完成的情况，并且发布了一个简短的摘要。这个摘要要用一下关键术语进行描述： 1.简单性2.面向对象性 3.分布式
4.健壮性 5.安全性 6.体系结构中立
7.可移植性
8.解释型 9.高性能 10.多线程 11.动态性
注意：白皮书可以在此链接找到http://www.oracle.com/
redis实战1：linux环境下安装redis服务器
1.检查linux环境是否安装gcc，因为我是新建的linux虚拟机，所以没有安装gcc
# gcc -v
如果出来一大片关于gcc的东西，那么就是安装了的。如果没有安装，则
# yum install gcc-c++
为什么需要安装gcc？
redis是C++写的嘛，我们需要gcc环境来对redis进行编译。
2.下载安装redis，cd到你要安装redis的目录，我是安装在op...
关于Java的常见误解
今天列出了一些关于Java的常见误解，今天给大家讲解一下1.Java是HTML的扩展Java是一种程序设计语言，HTML是一种描述网页结构的方式。除了用在网页上放置Java applet（在网页上运行Java程序）的HTML扩展之外，两者没有任何共同之处。2.使用XML，所以不需要JavaJava是一种程序设计语言，XML是一种描述数据的方式。我们可以使用任何一种语言处理XML数据，而Java的A...
redis实战2：redis的各种启动方式
前言：实战1中搭建了redis环境，并通过cli进行了数据的操作，我们启动的时候是用./redis-server启动的，cli启动的时候是用./redis-cli启动的。但实际情况中，我们不会这么简单的启动和连接。比如生产环境中，我们需要是用密码来保证安全，比如我们可能会改变port端口（默认为6379）。实战2说的就是分情况的启动。
说明：
server：redis数据库服务器
cli：r...
关于URL地址的解释，让你深入了解URL
URL（Uniform Resource Locator,统一资源定位器），URL用于互联网上的文档或者其他资源进行寻址。一个完整的网址，例如：http://www.crazyit.org/index.jsp/index.php,遵守如下语法规则：scheme://host.domain:port/path/filename关于URL地址的解释 ：scheme：指定因特网服务的类型。最流行的类型是...
我们为什么要使用泛型程序设计？谁想成为泛型程序员？
前言：泛型正是我们需要的，使用泛型机制编写的程序代码要比那些杂乱地使用Object变量，然后再进行强制类型转换的代码具有更好的安全性和可读性。泛型对于集合类尤为有用，例如，ArrayList就是一个无处不在的集合类。
泛型程序设计（Generic programming）意味着编写的代码可以被很多不同类型的对象所重用。例如：我们并不希望为聚集String和File对象分别设计不同的类。实际上，也...
redis实战3：redis系统级命令
前言：上篇文章，说的是redis的各种启动方式，那么我们启动成功之后，就是对redis数据库的各种操作了。首先就是对系统级别的操作，那我们用到的就是系统级的命令。什么叫系统级的命令那？redis就是这个系统，系统级命令就是操作redis这个系统的命令，而不是针对某一行数据进行操作。相当于我们在mysql数据库中，对各个数据库的管理，查看数据库的各种信息之类的。
这里主要是六个命令：
1.inf...
安装mongodb时为什么一直卡着不动
安装mongodb时，最后一步，一直卡着不动是因为到最后一步时，左下角的勾勾没有去掉，mongodb compass是图形化管理界面，下载它需要很久很久，还有可能一直下不来，所以把勾去掉就能马上安装好。...
redis实战4：redis常用的键命令
前言：上一篇文章说的是redis常用的系统级别命令，这一篇会讲redis中常用的键命令。redis存储方式是键值对（key-value），那这些键命令就是对key的一些操作的命令。
1.keys命令：查看库中存在的值
前面用过很多词keys命令。命令后面可以跟正则表达式来筛选我们想看的key。比如：keys *就是查看所有的key
2.del命令：删除某个key
我们先向库中插入一条数据 ...
SpringBoot简单的实现Junit单元测试和集成MyBatis分页
Spring在依赖注入bean的时候，会把所有实现MyBatis中Interceptor接口的所有类都注入到SqlSessionFactory中，作为plugin存在。既然如此，我们集成一个plugin便很简单了，只需要使用@Bean创建PageHelper对象即可。1.创建数据库create table t_book
(
book_id int primary key auto_increm...
scan commands not supported by redis server怎么解决
打开Redis图形化管理界面查看数据报错：scan commands not supported by redis server这是因为版本太高了，换一个低版本的就可以了，目前最新版是中文的，以前的版本基本上都是英文。下面就是我下载的版本：redis-desktop-manager-0.8.8.384 点击下载--------------如果大家喜欢我的博客，可以点击右上角的关注哦。...
三分钟带你看完HTML5增强的【iframe元素】
HTML不再推荐页面中使用框架集，因此HTML5删除了<frameset>、<frame>和<noframes>这三个元素。不过HTML5还保留了<iframe>元素，该元素可以在普通的HTML页面中使用，生成一个行内框架，可以直接放在HTML页面的任意位置。除了指定id、class和style之外，还可以指定如下属性：
src
指定一个UR...
职责型设计模式 之 责任链模式
责任链模式(Chain of Responsibility-CoR)使多个对象都有机会处理请求，从而避免了请求的发送者和接收者之间的耦合关系，将这些对象连成一条链，并沿着这条链传递该请求，直到有对象处理它为止。
今日推荐
周排行