python爬虫实战之旅（ 第九章：scrapy框架（上））
1.scrapy框架1.1 什么是scrapy框架？首先什么是框架？框架就是一个集成了很多功能并且具有很强通用性的一个项目模板。如何学习框架？专门学习框架封装的各种功能的详细用法。什么是scrapy？是爬虫中封装好的一个框架。scrapy的功能：高性能的持久化存储；异步的数据下载；高性能的数据解析，分布式。1.2 scrapy环境的安装：pip install scrapy1.3 scrapy的基本使用：1.3.1 新建一个scrapy工程使用pycharm下方自带的控
UML（1.用UML对Java建模导论）
前言本文是结合《Enterprise Java with UML》的摘要与上课ppt的笔记。1.用UML对Java建模导论1.1 什么是建模模型是对事物进行有目的的简化。我们通过建模认识和控制世界。所以建模可以达到的效果：可视化（简化）系统自由指定系统的结构与行为得到模板以构建新的系统记录操作过程中的一切决定1.1.1 简化系统模型可以使得最终系统代码和组件变得容易理解，也更加易于评估和和扩展。1.1.2 不同的视角一个软件系统的模型可以通过高级的视图提供的上下文和导航功能帮
JAVA程序设计（1.Java语言基础）
前言本文是结合《Java程序设计》（黄岚、王岩、王康平）的摘要与上课ppt的笔记。1.Java语言基础1.1 Java概述1.1.1 Java起源前身Oak软件；Java具有安全、跨平台、面向对象、简单、适用于网络等显著特点；传统软件与具体实现环境有关，而java语言能在执行码（二进制码）上兼容使得开发的软件能运行在不同的机器（仅机器需要提供java语言解释器）上。1.1.2 Java版本Java SE：标准版允许开发和部署在桌面、服务器、嵌入式环境和实时环境中使用Java应用程序
JAVA程序设计（2.结构化程序设计基础）
Java采用Unicode字符集表示标识符Unicode采用16-bit存储格式2.结构化程序设计基础2.1 标识符、关键字和数据类型2.1.1 标识符Java标识符以数字、字母、下划线（_）和美元$组成首位不能是数字区分大小写关键字不可做为标识符ctrl+shift+f 格式化转义字符表：转义字符名称作用\b退格\t水平制表相当于按Tab键（自动换行）\n换行换到当前位置的下一行，而不会回到行首\r回车回到当前行的行首.
数据库系统原理（第一章：引言）
前言本文是结合《数据库系统概念》的摘要与上课ppt的笔记。网络资源：www.itpub.net开源数据库学习：PostgreSQLIBM DB2第一章 引言1.1 数据库系统的应用1.2 数据库系统的目标1.3 数据视图1.3.1 数据抽象1.3.2 实例和模式1.4 数据库语言1.4.1 数据操纵语言1.4.2 数据定义语言1.5 关系数据库1.5.1 表1.5.2 数据操纵语言1.5.3数据定义语言1.5.4 来自应用程序的数据库访问1.6 数据库设计1.
JAVA程序设计（3.Java类与对象）
前言本文是结合《Java程序设计》（黄岚、王岩、王康平）的摘要与上课ppt的笔记。Java类与对象3.1 面向对象的基本概念3.2 Java类3.2.1 类的定义3.2.2 变量成员与方法成员3.2.3 访问控制符3.2.4 构造方法3.2.5 终结处理方法3.3 Java对象3.3.1 对象的创建3.3.2 对象初始化3.3.3 成员初始化次序3.3.4 垃圾回收机制3.4 包：库单元3.4.1 命名空间3.4.2 package语句3.4.3 import语句3.
UML（第二章：可视化建模实践概念知识）
2. 利用UML收集需求2.1 准备1）为系统建立一个清晰的愿景，该愿景在愿景文档中描述（它是一个对系统的目标和规模进行最高层次的描述的文本，可以采用任意格式）2）确定谁是这个项目的决策权威，识别项目发起人2.2什么是好的需求好的需要对系统要做的事情以及为谁做有一个清晰明确的描述。需求收集包括五个关键步骤：1）找到帮助自己理解系统的人2）倾听相关人员的描述，从他们的角度理解系统3）利用一个容易理解的模型来描述用户希望如何使用这个系统以及系统为他们提供什么价值4）详细地描述系统和客户以及系统
算法分析与设计（第一章：绪论）
前言本文是结合《算法设计与分析》（骆吉洲）的摘要与上课ppt的笔记。第一章：绪论1.1 算法在计算机科学体系中的地位1.1.1 计算机理论模型和计算问题的分类计算：是能够在某种计算装置上机械的执行的一个操作序列计算必须在特定的计算装置上完成计算模型——图灵机组成作用有限状态控制器记住有限种状态读写头读写存储带上的符号单项无线的存储带由存储单元构成，每个单元记录一个符号，每个符号允许擦除和写入，其所占用存储单元的数量n称为问题的输入规模有限条
现代操作系统（1.引论）
第一章：引论操作系统是计算机安装的一层软件，其任务是为用户程序提供一个更好、更简单、更清晰的计算机模型，并管理刚刚提到的所有设备。用户与之交互的程序，基于文本的称为shell；基于图标的称为图形用户界面（GUI）1.1 什么是操作系统1.1.1 作为扩展机器的操作系统1.1.2 作为资源管理者的操作系统1.2 操作系统的历史1.2.1 第一代（1945~1955）：真空管和穿孔卡片1 .2.2 第二代（1955~1965）：晶体管和批处理系统1.2.3 第三代（1965~1980）：继
Python - conda 常用命令介绍
本文介绍使用conda管理anaconda Python环境的相关命令。conda 环境相关命令创建环境conda create -n env_name python=3.7 --clone another_env-n：name 表示新环境名称python：使用python版本–clone：从现有环境复制而来删除环境conda remove -n env_name --all查看环境conda env list 或conda info -e激活环境conda ac.
mount 命令介绍
磁盘挂载可以有效解决数据同步与磁盘空间浪费的问题，而且支持不同操作系统之间挂载操作，核心命令为mount，本文介绍该命令。挂载挂载常用的命令为mount，其命令格式为：mount [args] device dirargs表示配置参数，其中最常用的为 -t和-o参数：-t指定文件系统的类型，通常不必指定，mount 会自动选择正确的类型，常用类型有:iso9660: 光盘或光盘镜像msdos: DOS fat16文件系统vfat: Windows 9x fat32文件系统n.
Linux 挂载 Windows 共享目录
在工程中遇到了Linux系统需要挂载Windows目录的需求，本文记录实现方法。Windows 系统设置打开SMB服务打开 控制面板 -> 程序和功能 -> 启动SMB 1.0/CIFS文件共享支持 -> 重启计算机设置共享文件夹需要共享的文件夹 -> 右键 属性 -> 共享 -> 共享设置 ->添加Everyone用户 -> 设置需要为该用户开放的权限配置完共享设置后可以在网络中看到自己共享的目录:此时在你的window.
修改 VS code 中 flake8 单行最长字符数量限制
VS code 带有强大的插件功能，其中有一个叫做flake8的插件可以规范代码，帮助养成良好的编码习惯，但是该规范规定单行最长字符个数76完全不够用，网上的方案统统不灵，为了不被逼疯，记录如下解决方案。添加配置网上流行的方案是在VS code配置页中加入flake8的配置信息："python.linting.flake8Args": ["--max-line-length=248"]`在我的环境里是不灵的。修改源码找到flake8python包的位置，打开 Annoconda\L.
补全利器 Kite 安装
Kite 是针对 Python 的代码补全工具 ，由于其快速智能（AI学习）被圈内广泛使用，本文介绍Kite在Windows 与 Linux环境下与VS code结合使用的方法。官网：https://www.kite.com/Windowshttps://www.kite.com/download/直接安装下载的 KiteSetup.exe 即可。在 VS code 中使用 kite安装插件 Kite AI Code AutoComplete[外链图片转存失败,源站可能有防盗.
VS code 远程调试配置
VS code 是微软的轻量级但功能强大的IDE，可扩展的插件众多，基本可以满足所有开发需求。本文介绍使用VS code进行远程调试代码的方法。环境Win 10 x64 操作系统安装 VS code远程 Linux 服务器成功配置ssh登录服务器（或docker容器）安装插件安装 Remote Development 插件会自动安装 Remote-WSL / Containers / SSH 等插件。配置主机信息ctrl + shift + pHost a.
Windows 远程登录 Linux 服务器 docker 容器
ssh是较可靠，专为远程登录会话和其他网络服务提供安全性的协议，广泛用于远程登录的场景，也是远程调试代码的神兵利器。在开发中经常会在服务器启动自己的 docker 容器进行开发，又需要调试代码，vim的调试环境配置起来门槛又太高。于是就有了使用Windows直接ssh打通docker进行调试的需求。本文记录Windows远程登录Linux服务器docker容器的方法。环境说明登录主机操作系统 Win 10被登录主机操作系统 docker container in Linux主机与被登录主机（此.
Git - 常用命令使用教程
本文介绍git常用命令的使用方法。Git译为分布式版本控制系统，是一个开源的分布式版本控制系统，可以有效、高速地处理从很小到非常大的项目版本管理。安装Linux$ sudo apt install git-all$ sudo dnf install git-allWindows在 https://git-scm.com/download/win 下载 gitbash 并安装即可测试Linux$ git --version-> git version .
Git - reset, checkout, revert 总结
在git版本管理中，经常有将其他提交与当前代码环境内容交互的需求，其中git reset、git checkout和git revert是与此类需求有关的一些命令，它们可以用来调整代码仓库中的某些更改；而且git reset和git checkout两个命令不仅可以作用于提交，还可以作用于特定文件，本文介绍上述三个命令的区别与工作原理。git 基础内容git 相关基础概念与常用命令使用方法在 Git - 使用教程 中有介绍，本文在此基础上进行展开。作用域这三个命令可以作用于提交和文件：.
Git - 解决Github连接失败的问题
Github有时会出现突然连接失败的问题，有部分情况是地址解析错误导致的，本文介绍此类问题的解决方案。问题复现Github本来好好的，说不定啥时候就会报错，报错信息如下：Connection to XXXXX port 22: Software caused connection abortfatal: Could not read from remote repository.Please make sure you have the correct access rightsand.
Git - 解决Github仓库下载缓慢的问题
Github仓库在国内下载慢，而且经常失败。该问题有几种解决方案：1、科学上网 2、使用镜像。 科学上网暂且不谈，镜像加速可以使用码云的github代码转存功能，但是该方法比较麻烦，还得转存一次。本文介绍使用Chrome浏览器插件进行加速的镜像方案。解决方案使用 google 浏览器 chrome进入chrome应用商店https://chrome.google.com/webstore搜索 gitHub 加速：安装 github 加速插件此时重新打开之前下不来的Gi.
今日推荐
周排行