Python数据爬虫学习笔记（13）爬取微信文章数据
一、需求：在微信搜索网站中,通过设定搜索关键词以及搜索页面数，爬取出所有符合条件的微信文章：
二、搜索页URL分析阶段：
1、在搜索框中输入任意关键词，在出现的搜索结果页面点击下一页，将每一页的URL复制下来进行观察：
2、注意到页码由page=X决定，搜索关键词由query=X决定，URL中的其它变量可以通过逐个删除测试的方式探究是否为必要变量，注意尽量不要使用QQ浏览器，由于QQ...
Python数据爬虫学习笔记（14）爬取糗事百科数据（单线程+多线程）
一、需求：爬取糗事百科主页的热门段子：
二、观察URL阶段：
1、网页的URL很简单：
2、网页源代码中的段子内容：
观察到被div和span标签所包围。
三、编写代码：
（1）单线程方式：
import urllib.request
import re
import urllib.error
import sys
headers=("User-Agent","Moz...
Python数据爬虫学习笔记（15）Scrapy常见命令、项目文件介绍以及常见错误
一、Scrapy常见命令提示符CMD命令：
（1）scrapy -h 查看指令帮助。
（2）scrapy fetch http://baidu.com 直接爬取特定网页。
（3）scrapy runspider scrapytest.py 运行特定爬虫（前提要使用cd .\XXX进入文件所在目录）。
（4）scrapy shell http://www.baidu.com --nolog...
Python数据爬虫学习笔记（16）XPath表达式速成
表达式元素介绍：
（1）/ 用于网页标签层次设定，如 /html/head/titile 代表了html标签内的head标签内的titile标签，如：
（2）// 表示所有该类型标签，如//li 表示网页中所有的li标签。
（3）text() 代表标签内容，如 /html/head/titile/text()，在上例中表示“新浪首页”。
（4）@ 表示标签的属性，有两种常见用法...
全国绿色计算大赛 模拟赛第一阶段 第2关：文件查看器
欺负我文件操作练的少，这道题文件操作非常简单，我开始的时候图省事用递归+递归参数写了一发，虽然用了不少时间但是感觉so easy啊，但是一想人家这是函数功能补全，我就开始想这个“+--”和“--”前面的空格数量怎么控制，改了一晚上，用一个静态变量就搞定了，看我下面的代码，至于文件操作，请参看博客https://blog.csdn.net/u010154760/article/details/450...
Python数据爬虫学习笔记（16）Scrapy快速入门
1、新建Scrapy项目，进入CMD，通过指令进入存放项目的目录，输入命令：
scrapy startproject firstScrapy
firstScrapy是爬虫项目的名称。
2、新建爬虫文件，通过指令进入爬虫项目所在目录，输入指令：
scrapy genspider -t basic ZYH baidu.com
ZYH是爬虫文件的名称，baidu.com是爬虫的限制网址。...
全国绿色计算大赛 模拟赛第一阶段 第3关：图片查看器
用第二关的代码修改即可，因为图片属于普通文件，而txt也是普通文件，单纯用stat无法区分，这时我们要提取后缀名进行判断，so easy，见过关代码：
void showDirStructure(char *folderPath)
{
static int flor = 0; //²ãÊý
for (int i = 0; i < flor*2; i++) cou...
Python数据爬虫学习笔记（17）Scrapy糗事百科Crawl自动爬虫
一、需求：在糗事百科主页下，无需设置页码，自动爬取所有段子详情页的段子完整内容。
（1）糗事百科主页：
（2）段子详情页：
二、Scrapy实现思路：
在糗事百科主页上自动提取出所有段子的详情链接，在每个段字详情页中爬取段子内容。
三、网页源代码分析：
1、糗事百科段子详情页链接分析：注意到每个段子详情的链接都含有“article”
2、糗事百科段子详情页源...
全国绿色计算大赛 模拟赛第三阶段
挑战任务
在代码世界中遨游是件妙不可言的故事，给开发者推荐新项目、新用户、新世界，有助于增强开源精神，提高开发者乐趣。本关源于国内知名开源社区的一个真实的业务需求，需要基于“绿色计算产业联盟”和国内某知名开源技术平台真实开发者及开发者活动数据进行兴趣标签的推荐。
本关任务：
利用已有的同现标签数据以及给出的20位开发者技能标签数据，推荐兴趣标签给这20位开发者。
其中，同现标签指的是：“共...
Python数据爬虫学习笔记（18）Scrapy天善智能网课信息爬虫
一、需求：爬取天善智能网站中的所有网课的信息，包括网课名称、学习人数以及链接。
二、Scrapy实现思路：使用传统的方法，找寻每个网课的URL规律，使用for循环来循环爬取网课网页的信息。
三、URL及源代码分析：
1、URL分析，注意到网课的URL由+网课编号组成，不断更换网课编号进行测试注意到，网课编号是连续的且最大值为294（截至发博文的日期）。
2、源代码分析，观察网课网页...
作业调度算法-先到先服务（FCFS）
关于先到先服务算法，我这里只陈述几个要点：
1.为什么缩写是FCFS？
first-come first-served，先到先服务。
2.FCFS算法中优先级的评定标准？
优先级根据等待时间来确定，等待时间越长，优先级越高，越优先执行。
3.为什么说等待时间越长FCFS算法调度作业的优先级越高？
这个问题开始挺纠结我的，不晓得大家有没有纠结过，给大家做一个比喻，当前一...
Python数据爬虫学习笔记（19）Scrapy模拟登录实现豆瓣用户信息爬虫
一、需求：在豆瓣官网中，使用Scrapy实现模拟登录，并爬取登录后的个人中心界面中的用户名及日记信息数据。
二、实现思路：
1、关于用户名与密码以及其提交网址：
观察登录网页的源代码，注意到用户名与密码都使用不同name属性的input来输入。
登录信息的提交网址为，这个网址可以在源代码中找到，但是非常建议使用Fiddler进行抓包分析得到，方法是首先对Fid...
可行性研究-复习方案
一.基础概念部分
1.软件可行性研究的目的：在经济、时间最小化的前提下研究一款软件是否能够、值得被开发。
2.可行性研究的实质：简化压缩的需求分析
3.可行性研究的3个方面：技术可行性、经济可行性、操作可行性（社会可行性）
4.可行性研究的步骤（这里我只挑重点）：确定项目目标和规模（第一步）、研究当前正在使用的系统、导出新系统的高层逻辑模型......编辑可行性报告（最后一步）
5.描述...
Python数据爬虫学习笔记（20）Scrapy爬取当当图书数据并存储至SQLite数据库
一、需求：在当当网的程序设计类图书商品界面中，爬取图书的名称、详情链接以及评论数，并将信息存储至SQLite数据库。
二、URL及网页源码分析：
1、URL分析，注意到商品搜索页的URL具有以下结构：
2、源码分析，观察网页的源代码，寻找商品名称、商品链接、评论数信息的所在位置。
1）商品名称：存在于class属性为pic的a标签中的title属性中。
2）商...
HDU - 1426 九宫格+输入处理
除了输入有点坑别的都还好
#include <bits/stdc++.h>
using namespace std;
#define max(x, y) x >= y ? x : y
#define min(x, y) x <= y ? x : y
#define INF 0x3f3f3f3f
typedef ...
Python数据爬虫学习笔记（21）爬取京东商品JSON信息并解析
一、需求：有一个通过抓包得到的京东商品的JSON链接，解析该JSON内容，并提取出特定id的商品价格p，json内容如下：
jQuery923933([{"op":"7599.00","m":"9999.00","id":"J_5089253","p":"7099.00"},
{"op":"48.00",&
今日推荐
周排行