scrapy实现数据持久化、数据库连接、图片文件下载
数据持久化的两种方式：（1）基于终端指令的持久化存储；（2）基于管道的持久化存储 基于终端指令的持久化存储 在爬虫文件的parse方法中必须要return可迭代对象类型（通常为列表或字典等）的返回值，该返回值作为基于终端指令持久化指定文件的输出内容。 执行输出指定格式进行存储-------将爬取到的数据写入不同格式的文件中进行存储，存储格式有限：
scrapy crawl 爬虫文件 -o xxx.json scrapy crawl 爬虫文件 -o xxx.xml scrapy c
暑假集训-8.09总结 AcWing 260. 买票 （树状数组+二分）打卡 AcWing 257. 关押罪犯 （并查集）打卡
学习内容：复习树状数组 复习带权并查集 复习线段树 今日完成题数：2+4 多校补题情况（之前定的每支队伍标准）：√ 今日看书情况：10 学习算法的总结 无 今日做题总结 AcWing 260. 买票 （树状数组+二分）打卡 AcWing 257. 关押罪犯 （并查集）打卡 今日心得：还是要正确的去分析题目，题目范围时间复杂度的分析都要考虑，不要总想着最好的，能过就行
日常学习整理--注解和反射
@interface 使用此注解可以进行自定义注解，类名即为注解名。自定义注解中只能定义方法，所有方法都是无参无修饰符的，返回值则是基本数据类型、String、Classs、Annotation、Enum或者对应的一位数组。 方法通过default设置默认值。 注解的使用 单方法注解可以直接进行注解名(值)的方法来使用 多方法的使用方式是注解名(方法名=值，方法名=值…) 当方法中存在默认值时可以不显示赋值。 格式 @Target(ElementType.METHOD) @Retention(
P3951小凯的疑惑
这是2017年提高组的第一题，是一个小学奥数题？听说很多大佬爆零了，我AC了，，， 这个题首先给出两个素数，问取任意个这两个素数之和不可以达到的最大的数是多少？拿到这个题首先很蒙，于是试了试样例，并没有得到什么启发，于是就构思代码，想双层for循环这两个数的个数，但怎样最大呢？然后再次去分析数据。eg.7&3=11,2&5=3,3$4=5。突然间，发现这些值都是a*b-(a+b)。但是看数据范围，发现1*10^9-->1*10^18，所以一定要开long long. 1.拿到这种“奥数”,一定
敏捷开发--工作流程的梳理
2019年08月09日，上海受台风利奇马的影响，晚间狂风大雨。 临下班，合作渠道WB在微信群里报告线上生产事故问题：赶快扒日志看记录，日志显示一切正常，看不出bug在哪里，WB声称并未接收到我方CI的回调请求。晚七点多，肚子已经饿了，给WB说，看日志CI没啥问题，先撤了。 在出公司大楼经过一个拐角的时候，隐隐感觉这情形代码里的配置项会不会有问题，心里很是忐忑，冒雨又折回。重新打开电脑，再捋一遍代码的时候，bug像一道匕首直刺心头：卧槽，这个路径竟然还是测试环境 的路径！项目组是公司敏捷开发团队
关于memset的赋值（最大值最小值的选择）
memset赋值赋的是ASSCII码转为二进制赋值 比如 memset(,0xff,sizeof()),0xff转为二进制11111111，int为4字节所以最后为11111111111111111111111111111111为-1。(化为二进制补位，然后再赋值)。 而OIER通常都希望能够通过memset赋给数组一个最大值 ## 如何定义这个无穷大 这个主要还是看数据范围。 如果直接用int最大值或者和最大值同位数的值作为无穷大的话 比如 2147483647 + 999 爆了int ，
端口关闭工具哪个最好用？
很多小伙伴不能封端口,因此推荐大家一个iis7服务器监控工具中科院修改端口的功能！简单易用关闭端口软件可以自定义封杀端口的实用程序。使用简单，方便。功能强大。您可以自行封堵一些***病毒的高危端口。这款端口关闭工具从源头上找出所有的端口是被什么程序、服务打开的，和关闭被打开的端口。关闭端口和封端口其实是一个意思，其实windows防火墙也有端口管理功能，但是设置起来很麻烦，不如这款软件好用。封端口软
Trunk链路的配置
实验环境使用之前用过的GNS3、WireShark和CRT进入GNS3页面，点击左侧图标菜单栏，拖入2台路由器到拓扑操作台，再点击PC图标，选择VPC，拖入拓扑操作台，配置两台路由器(更改名称、更改图标、添加二层业务单板、添加磁盘容量为128Mb)----------------配置环境-------------1、接下来用网线把PC和路由器连接起来将PC1连到SW1的f1/0将PC2连到SW1的
0.88mm液晶拼接屏和DLP屏的区别有什么呢
随着大屏幕拼缝技术不断升级，大屏幕显示设备的应用越来越广泛，如指挥中心、企业会议室、应急中心和展馆展览等场合，都会安装一个超窄拼缝大屏幕作为辅助各项工作或产品展示的作用。目前市面上用于超窄拼缝大屏幕显示的主要有0.88mm液晶拼接屏和DLP屏两种。那么0.88mm液晶拼接屏和DLP屏二者用哪个好呢，区别有什么呢？一、造价不同从整体项目的造价来看，毫无疑问DLP屏要贵许多，比如同样是55寸的屏幕，D
python-----04（进程和线程）
并发和并行的区别：>>并发：当有多个线程在操作的时候，如果系统只有一个CPU，把CPU运行时间划分成若干个时间段，分配给各个线程执行，在一个时间段当进程代码运行时，其他线程处于挂起状态。>>>>并发=间隔发生>>并行当系统有一个以上CPU时，则线程的操作有可能非并发。当一个CPU执行一个线程时，另一个CPU可以执行另一个线程，两个线程互补抢占CPU资
破解“低代码”的4大误区
最近，每个人似乎都在谈论“低代码”。以美国的Outsystems、Kinvey，以及国内的活字格为代表的低代码开发平台，正在风靡整个IT世界。毕竟，能够以最少的编码快速开发应用的想法本身就很吸引人。但是，随着受欢迎程度的提升，围绕着低代码，各种误解也随之而来。我们希望通过破解这些低代码的误区，帮助您更好地了解低代码开发平台这个低门槛、高效率的软件开发新选择。误区1：低代码平台仅适用于SDLC的构建
webpack 打包生成的index 路径引用不对
webpack 在打包时在访问打包里面的index时，出现路径错误 修改方法为 解决方法：在config下面的index.js把 assetsPublicPath: '/', 修改为： assetsPublicPath: './',
spring源码学习之springMVC（二）
接着上一篇。继续来看springMVC中最和我们开发中接近的一部分内容： DispatcherServlet的逻辑处理 作者写到在DispatcherServlet类中存在doGet、doPost之类的方法，但是在我查看的这个spring版本中，并不是在这个类中，而是在其父类FrameworkServlet中，从FrameworkServlet开始看起！ org.springframework.web.servlet.FrameworkServlet类中： 1 @Override
2 p
java的异常抛出throws和throw的简单使用
前提： 当在程序测试时，如果你需要定义一个自己的异常，而非现在已经存在的异常，这个时候你需要用到throws和throw，try-catch只是一个简单的捕获异常的过程。 代码如下： package org.axc.com.Action;
import java.lang.Exception;
public class TestException {
public static void count(int x) throws MyException{
if(x>
.gitignore忽略target无效
在git中如果想忽略掉某个文件，不让这个文件提交到版本库中，可以使用修改根目录中 .gitignore 文件的方法. 但是有时候在项目开发过程中，突然心血来潮想把某些目录或文件加入忽略规则，按照上述方法定义后发现并未生效，原因是.gitignore只能忽略那些原来没有被track的文件，如果某些文件已经被纳入了版本管理中，则修改.gitignore是无效的。那么解决方法就是先把本地缓存删除（改变成未track状态），然后再提交： git rm -r --cached .
git add .
今日推荐
周排行