Scrapy爬虫的暂停和启动
scrapy的每一个爬虫，暂停时可以记录暂停状态以及爬取了哪些url，重启时可以从暂停状态开始爬取过的URL不在爬取 实现暂停与重启记录状态 方法一： 1、首先cd进入到scrapy项目里（当然你也可以通过编写脚本Python文件直接在pycharm中运行）
2、在scrapy项目里创建保存记录信息的文件夹
3、执行命令：
scrapy crawl 爬虫名称 -s JOBDIR=保存记录信息的路径
如：scrapy crawl cnblogs -s JOBDIR
从一道面试题深入了解java虚拟机内存结构
记得刚大学毕业时，为了应付面试，疯狂的在网上刷JAVA的面试题，很多都靠死记硬背。其中有道面试题，给我的印象非常之深刻，有个大厂的面试官，顺着这道题目，一直往下问，问到java虚拟机的知识，最后把我给问住了。 我当时的表情是这样的： 后来我有机会面试别人了，也按照他的思路出面试题，很多已经工作了2年的程序员，结果也和我当年一样，都败在java虚拟机知识上。 我们先看面试题： String str1 = "hello Alunbar";
String str2 = new String(str1
关于react-router最新版本的使用
现在react-router已经更新到了5.1.1版本，在一些使用方法上较之前有了很多改变，现做初步列举，以后会陆续更新。 关于引入react-router和基本使用 旧版本中引入react-router的方式先安装: npm install --save react-router 然后引入： import { Router, Route, Link } from 'react-router' 而现在需要安装react-router-dom包： npm install react-router
SpringBootSecurity学习（09）网页版登录配置Session共享
场景 当后台项目由部署在一台改为部署在多台以后，解决session共享问题最常用的办法就是把session存储在redis等缓存中。关于session和cookie概念这里就不再赘述了，在springboot-security环境下，把session存储到redis中共享是非常非常简单的，除了多了一些配置，几乎不用改任何代码。共享session达到的效果就是，用户在一台服务器上面登录成功后，访问另外一台，用户也是处于登录状态。下面创建两个一样的项目，来配置session共享。 增加依赖 把se
数据分析案例-拉勾网招聘信息
1、导入模块配置中文 import pandas as pd
import numpy as np
from matplotlib import pyplot as plt
# 支持中文
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False 2、从csv中读取爬取得数据 采集代码：https://github.com/song-zhixue/lagou data
2019CSP初赛复习
NOIP2012 选择 PJ -4.5 6.树的先序中序遍历，画图即可 17.考察广域网等定义，蓝牙等属于局域网 19.审题，不同子串个数 TG -7.5 11.显然\(2 ^{ (n+1)}=2*2^n\)，其他不合题意。 15.考察二叉树性质，叶结点个数最大应该是\(n/2+1\)？故1，9，10个叶结点均可行 16.考察最短路，\(C\)选项 若\(d(v1,v3)>d(v1,v2)+d(v2,v3)\)，则\(d(v1,v3)\)就不是最短路了 18.无限循环小数化成二进制仍是无限循环
数据库系列（五）之 mysql的伸缩性
这篇文章，主要讲述mysql的伸缩性。在国内mysql一直都是使用得最多的数据库，在国外也排名前三。mysql是一款开源的、性能较高的数据库。 伸缩性是指在软件设计中，软件（数据库、应用程序）通过特定的配置或升级，可以进行横向或纵向扩展，来达到软件适应越来越多用户访问的目的。数据库达到一定瓶颈，需要考虑伸缩性，这是大部分软件设计人员避免不了的事情。 在移动互联网时代，人人可用手机访问你的APP、网站应用，没有数据库的伸缩，不可能支持那么多的用户量的访问。还有一种场景，数据存储量极大的也考虑伸缩
每周总结（五）9.23~9.29
>9.23 周一< >9.24 周二< >9.25 周三< >9.26 周四< 看了二分图 >9.27 周五< 看tarjon求强连通分量，点，边双联通分量，割点，桥，只是看了。。 >9.28 周六< 学最小树形图 >9.29 周天< 晚上打 Codeforces Round #589 (Div. 2) 只做了两题居然还上分了。我好弱(。・・)ノ
CF1024E Natasha, Sasha and the Prefix Sums——DP/数学(组合数)
题面 CF1024E 解析 题意就是要求所有由$n$个$1$、$m$个$-1$构成的序列的最大前缀和的和 算法一$(DP)$ $n$， $m$都小于等于$2000$， 显然可以$DP$ 设$dp[i][j]$表示由$i$个$1$， $j$个$-1$构成的序列的最大前缀和的和 $i$个$1$， $j$个$-1$构成的序列， 可以看做是在$i-1$个$1$， $j$个$-1$的序列的最前面加一个$1$得到，也可以看做是在$i$个$1$， $j-1$个$-1$的序列最前面加一
软工第三次作业--原型设计
原型设计 这个作业属于哪个课程 https://edu.cnblogs.com/campus/xnsy/Autumn2019SoftwareEngineeringFoundation/homework/8663 这个作业要求在哪里 https://edu.cnblogs.com/campus/xnsy/Autumn2019SoftwareEngineeringFoundation/homework/8663 这个作业的目标 面向普通学生和社团管理员，集合了各个社团的信息，特色功能是活动的浏览和
Java static关键字的重新思考
上完Java课，虽然也写了不少的Java代码，但是一直有不少的疑惑，而static关键字一直困惑着我很久，今天无意探究竟，上知乎再仔细查了一下，发现了这个话题的优秀答案https://www.zhihu.com/question/36615154 这篇文章彻底把我之前对static的理解概念土崩瓦解，看来我还是低估了设计语言大师的智慧，老以为非静态声明函数会造成实例化多个实例时会造成内存空间的浪费，实际上每个实例里面的函数方法在实例的内存区域中仅仅只有个引用而已，并且此引用指向了该函数方法的内
win10 虚拟机VMware 14中CentOS7文件共享
环境 主机：win10 家庭版 软件：VMware 14 系统：CentOS 7 设置共享文件 右键虚拟机->选择设置 如图：创建共享文件 安装VMware Tools 然后进入centOS系统 新建一个目录 /mnt/cdrom, 用于挂载虚拟光驱 mkdir /mnt/cdrom 将虚拟光驱设备 /dev/cdrom挂载到目录 /mnt/cdrom mount /dev/cdrom /mnt/cdrom 进入到/tmp目录下将挂载在虚拟光驱中的目录的 /mnt/cdrom 中的 VMwar
一道有意思的思维题2 --- 排序、枚举
这道题是又一次在和学弟吃饭的路上听学弟讲的，感觉挺不错的^_^，这样仿佛经常听学弟讲题能收获不少呀，可能明年笔试有望了，哈哈~ Problem: 平面上给了有n个人，位置由(x,y)元组给定，平面上还有m扇门，位置由(x,y)给定。现在约定每扇门只能进一个人，且人只能向左和下移动（向x-1和y-1移动），请问最多有多少人进门？ Solution： 将人和门按x值从大到小排序，枚举门。对于当前枚举的门i，将值大于door[i].x的所有人的y值放入set中，找到大于等
手把手教你把Python应用到实际开发 不再空谈语法
手把手教你把Python应用到实际开发 不再空谈语法 1. 字典推导(Dictionary comprehensions)和集合推导(Set comprehensions) 大多数的Python程序员都知道且使用过列表推导(list comprehensions)。如果你对list comprehensions概念不是很熟悉——一个list comprehension就是一个更简短、简洁的创建一个list的方法。 >>> some_list = [1, 2, 3, 4, 5]
>>> a
今日推荐
周排行