简书全站爬取 mysql异步保存
# 简书网
# 数据保存在mysql中; 将selenium+chromedriver集成到scrapy; 整个网站数据爬取
# 抓取ajax数据
#爬虫文件
# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from jianshu_spider.items i
素数专题——素数筛法
关于素数的判断，大家最常用的方法估计就是循环判断到sqrt(n)的方法了：（直接上代码） bool isprime(int n)
{
for(int i=2;i<=sqrt(n);i++)
{
if(n%i==0)
return false;
}
return true;
}
这种素数的判断方法的确直观，但这种算法只对较小数据量适用，当数据量较大时，该方法就不再适用于素数的判定了。因此，我们此处引入一种新的算法——素数筛法。 首先介绍一下什么叫素数筛法
TKmybatis和mybatisplus哪个好用
文档连接 ：http://baomidou.oschina.io/mybatis-plus-doc/#/?id=%E7%AE%80%E4%BB%8B https://gitee.com/hengboy/mybatis-enhance https://gitee.com/free/Mapper/wikis/1.3-spring-boot?sort_id=208198 https://durcframework.gitee.io/fastmybatis/ 注： mybatis-enhance也同样
天之涯地之角，raid信息丢了怎么找——记录数据恢复过程
····本次要分享的是一台服务器raid磁盘阵列由于多次意外断电导致的raid信息丢失了的数据恢复过程。磁盘阵列的硬件配置在这里也就不多赘述了，阵列中存储的数据是文档文件，Windows2003server操作系统，主机没有配置ups。系统意外断电时并未引起管理员的特别注意，重启后也并未影响阵列的正常使用，但后续又出现了多次异常断电的情况，最终导致了重启阵列后raid报错，服务器无法找到存储设备。
第1节 IMPALA：2、架构介绍
impala的架构以及查询计划： impalad :从节点 对应启动一个impala-server的进程 ，主要负责各种查询计划，官方建议与所有的datanode安装在同一台机器上面 impala-statestore : 主节点，状态存储区，主要存储了我们一些查询sql语句的执行情况 impala-catalog:主节点，元数据存储区 建表信息，建库信息，表字段之间的分隔符信息，对应加载hdfs的数据路径信息 impala的查询过程 第一步：客户端提交查询任务，impala的某一个impal
【洛谷 2910】寻宝之路
题意翻译 题目描述 农夫约翰正驾驶一条小艇在牛勒比海上航行． 海上有N(1≤N≤100)个岛屿，用1到N编号．约翰从1号小岛出发，最后到达N号小岛． 一张藏宝图上说，如果他的路程上经过的小岛依次出现了Ai，A2，…，AM(2≤M≤10000)这样的序列（不一定相邻），那他最终就能找到古老的宝藏． 但是，由于牛勒比海有海盗出没．约翰知道任意两个岛屿之间的航线上海盗出没的概率，他用一个危险指数Dij(0≤Dij≤100000)来描述．他希望他的寻宝活动经过的航线危险指数之和最小．那么，在找到宝藏的
1-02时间复杂度与大O表示法
算法效率衡量 对于同一问题，我们给出了两种解决算法，在两种算法的实现中，我们对程序执行的时间进行了测算，发现两段程序执行的时间相差悬殊，由此我们可以得出结论：实现算法程序的执行时间可以反映出算法的效率，即算法的优劣。 单靠时间值绝对可信吗？ 假设我们将第二次尝试的算法程序运行在一台配置古老性能低下的计算机中，情况会如何呢？很可能运行的时间并不会比在我们电脑中运行算法一的时间快多少。 单纯依靠运行的时间来比较算法的优劣并不一定是客观准确的！ 程序的运行离不开计算机环境（包括硬件和操作系统），这些
MySQL中建立Oracle中SCOTT数据示例
1、创建 scott 数据库 CREATE DATABASE scott; 2、创建 scott 数据库中的 dept 表 CREATE TABLE dept(
deptno INT UNSIGNED PRIMARY KEY COMMENT '部门编号',
dname VARCHAR(15) COMMENT '部门名称',
loc VARCHAR(50) COMMENT '部门所在位置'
) COMMENT='部门表'; 插
Latex 傻瓜式入门
记录一下真正的傻瓜步骤： 看这个 https://www.jianshu.com/p/47c456572e87 然后看这个 https://github.com/James-Yu/LaTeX-Workshop/wiki/Install#using-docker 好了。
python str的一些操作及处理
一、str的定义：Python中凡是用引号引起来的数据可以称为字符串类型，组成字符串的每个元素称之为字符，将这些字符一个一个连接起来，然后在用引号起来就是字符串。 二、str的简单操作方法： conut(数) split(以...分割) foemat(格式化输出) replace(元素替换) startswith(判断是以...开头，返回bool) endswith(判断是以...结尾，返回bool) strip(去除首尾字符) lstrip(去除首字符) rstrip(去除尾字符) a =
windows环境下基于pycharm安装Redis出现的两个错误解决方案
说明：下面给出的两个链接是解决安装和使用Redis的时候遇到的两个问题参考的博客网址，本文有解释不清楚的地方可以原博客查看，侵权删！ Q1参考链接-https://blog.csdn.net/maqunfi/article/details/82947675 Q2参考链接-https://blog.csdn.net/sinat_29957455/article/details/78567194（详细版，推荐！）https://www.cnblogs.com/xiaodai0/p/9761192.
表记录查询之查询（一）
select field1,field2 from tab_name; select distinct field from tab_name; 去重，取第一个 select name as 姓名 from tab_name; 可以不加as 使用where子句，进行过滤查询 order by 列名，排序（升序） ASC 升序（默认） Desc 降序 Mysql 在执行sql语句时的执行顺序：from where select group by having order by
最新阿里云软件源Ubuntu 18.04源
阿里云Ubuntu 18.04源 deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main res
每日一码——链表合并
今天的每日一码为大家介绍了，将两个链表合并为一条 最后得到的结果如下： 当然本题可以在合并的时候，对节点进行一些处理使得得到的是一条有序的列表。 也可以在ListCode中定义链表排序方法，在合并后调用，即可得到有序的链表。 由于小编水平有限，如有不足，还请不吝赐教！！！此处也是重点，记下记下。微信搜索关注油墨山公众号，获取更多文章咨询！！！ ◆◆油墨未干，为何停下双手！◆◆ 感谢关注！微信号：youmoshan
（19） 树莓派发送微信人脸识别报警
教程 https://www.yahboom.com/build.html?id=1999&cid=257 项目地址 https://github.com/revotu/ItChat xp3g 本项目的具体需求是：树莓派启动微信服务和OpenCV服务，OpenCV对摄像头实时视频监控，当检测到人脸后后拍照，将拍摄到的照片通过微信发送给用户的个人好友。 本项目中，对于微信的操作，我们需要用到的API是itchat。 itchat是一个微信对于python封装的api，它的功能非常强大，我们可以使
今日推荐
周排行