Python中的爬虫是什么

Python学习计划（终）

爬虫简介

一、爬虫简介
1、为什么要做爬虫
首先请问：都说现在是"大数据时代"，那数据从何而来？

企业产生的用户数据：百度指数、阿里指数、TBI腾讯浏览指数、新浪微博指数
数据平台购买数据：数据堂、国云数据市场、贵阳大数据交易所
政府/机构公开的数据：中华人民共和国国家统计局数据、世界银行公开数据、

联合国数据、纳斯达克。

数据管理咨询公司：麦肯锡、埃森哲、艾瑞咨询
爬取网络数据：如果需要的数据市场上没有，或者不愿意购买，那么可以选择招/做一名爬虫工程师，自己动手丰衣足食。

2、什么是爬虫
==爬虫：就是抓取网页数据的程序。 ==

3、爬虫怎么抓取页面数据
网页三大特征：

网页都有自己唯一的URL（统一资源定位符）来进行定位
网页都使用HTML （超文本标记语言）来描述页面信息。
网页都使用HTTP/HTTPS（超文本传输协议）协议来传输HTML数据。

爬虫的设计思路：

首先确定需要爬取的网页URL地址。
通过HTTP/HTTP协议来获取对应的HTML页面。
提取HTML页面里有用的数据：
a. 如果是需要的数据，就保存起来。
b. 如果是页面里的其他URL，那就继续执行第二步。

二、urllib2的使用
所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。

urllib2 是 Python2.7 自带的模块(不需要下载，导入即可使用)
urllib2 官方文档：https://docs.python.org/2/library/urllib2.html
urllib2 源码：https://hg.python.org/cpython/file/2.7/Lib/urllib2.py
urllib2 在 python3.x 中被改为urllib.request

1、urlopen()函数
向指定的url发送请求，并返回服务器响应的类文件对象
类文件对象支持文件对象的操作方法，如read()方法读取文件全部内容，返回字符串

import urllib2 
response=urllib2.urlopen("http://www.baidu.com") 
html=response.read() 
print(html)

2、Request()函数
如果需要执行更复杂的操作，比如增加HTTP报头，必须创建一个 Request 实例来作为 urlopen()的参数；而需要访问的url地址则作为 Request 实例的参数。

import urllib2 
request=urllib2.Request("http://www.baidu.com") 
response=urllib2.urlopen(request)
html=response.read() print(html)

新建Request实例，除了必须要有 url 参数之外，还可以设置另外两个参数：

data（默认空）：是伴随 url 提交的数据（比如要post的数据），同时 HTTP 请求将从 "GET"方式改为 "POST"方式。
headers（默认空）：是一个字典，包含了需要发送的HTTP报头的键值对。

3、User-Agent报头
直接用urllib2给一个网站发送请求的话，确实略有些唐突了，就好比，人家每家都有门，你以一个路人的身份直接闯进去显然不是很礼貌。而且有一些站点不喜欢被程序（非人为访问）访问，有可能会拒绝你的访问请求。
但是如果我们用一个合法的身份去请求别人网站，显然人家就是欢迎的，所以我们就应该给我们的这个代码加上一个身份，就是所谓的User-Agent头。
浏览器，就是互联网世界上公认被允许的身份，如果我们希望我们的爬虫程序更像一个真实用户，那我们第一步，就是需要伪装成一个被公认的浏览器。用不同的浏览器在发送请求的时候，会有不同的User-Agent头。 urllib2默认的User-Agent头为：Python-urllib/x.y（x和y 是Python主版本和次版本号,例如 Python-urllib/2.7）

import urllib2 
url="http://www.baidu.com"
ua_header={"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1;  Trident/5.0;"} 
request=urllib2.Request(url,headers=ua_header) 
response=urllib2.urlopen(request) 
html=response.read() 
print(html)

4、添加更多的Header信息
在 HTTP Request 中加入特定的 Header，来构造一个完整的HTTP请求消息。可以通过调用Request.add_header() 添加/修改一个特定的header 也可以通过调用Request.get_header()来查看已有的header。

import urllib2 
url="http://www.baidu.com" header={"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1;  Trident/5.0;"} 
request=urllib2.Request(url,headers=header) 
request.add_header("Connection", "keep-alive") 
response=urllib2.urlopen(request) 
#查看响应码 
print(response.code) 
html=response.read() 
file=open('baidu.html',"w") 
file.write(html) 
file.close()

注意，不是urllib2
urllib 和 urllib2 都是接受URL请求的相关模块，但是提供了不同的功能

urllib2默认只支持HTTP/HTTPS的GET和POST方法
urllib 仅可以接受URL，不能创建设置了headers 的Request 类实例

但是 urllib 提供 urlencode 方法用来GET查询字符串的产生，而 urllib2 则没有。

编码工作使用urllib的urlencode()函数，帮我们将key:value这样的键值对转换成"key=value"这样的字符串

解码工作可以使用urllib的unquote()函数

import urllib
	 kw={"wd":"迪丽热巴"} 
print(urllib.urlencode(kw)) 
print(urllib.unquote("wd=%E8%BF%AA%E4%B8%BD%E7%83%AD%E5%B7%B4"))

5、 Get请求
GET请求一般用于我们向服务器获取数据
比如百度搜索迪丽热巴看地址栏
https://www.baidu.com/s? wd=%E8%BF%AA%E4%B8%BD%E7%83%AD%E5%B7%B4

import urllib
import urllib2
url="http://www.baidu.com/s" 
word={"wd":"迪丽热巴"} 
word=urllib.urlencode(word) 
newurl=url+"?"+word headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) 
AppleWebKit/537.36 (KHTML, like Gecko) 
Chrome/51.0.2704.103 Safari/537.36"} 
request = urllib2.Request(newurl, headers=headers) 
response = urllib2.urlopen(request) 
print(response.read())

6、批量爬取贴吧页面数据
LOL贴吧
http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0
http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=50
http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=100

import urllib 
import urllib2 
url="http://tieba.baidu.com/f" 
key=urllib.urlencode({"kw":"迪丽热巴"}) 
url=url+"?"+key 
print(url) 
for i in range(4):  
	file=open("The %s page.html"%(i+1),"w")   
	fullurl=url+"&pn=%s"%(i*50)   
	headers = {"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; 		Windows NT  6.1; Trident/5.0;"}   
	request = urllib2.Request(fullurl, headers = headers)   
	response = urllib2.urlopen(request)   
	file.write(response.read())   
	file.close()

三、正则表达式
正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法（英语：Regular Expression，在代码中常简写为regex、regexp或RE），是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些匹配某个模式的文本。
Regular Expression的“Regular”一般被译为“正则”、“正规”、“常规”。此处的“Regular”即是“规则”、“规律”的意思，Regular Expression即“描述某种规则的表达式”之意。
1、 re模块操作
在Python中需要通过正则表达式对字符串进行匹配的时候，可以使用一个模块，名字为re

# 导入re模块     
import re
# 使用match方法进行匹配操作     
result = re.match(正则表达式,要匹配的字符串)    
# 如果上一步匹配到数据的话，可以使用group方法来提取数据     
result.group()

例如：

import re 
result=re.match("haha","hahalalal") 
text=result.group() 
print(text)

2、表示字符

字符	功能
.	匹配任意1个字符（除了\n）
[]	匹配[ ]中列举的字符
\d	匹配数字，即0-9
\D	匹配非数字，即不是数字
\s	匹配空白，即空格，tab键
\S	匹配非空白
\w	匹配单词字符，即a-z、A-Z、0-9
\W	匹配非单词字符

示例1：

import re    
ret = re.match(".","a")    
ret.group()

示例2：

import re     
# 大小写h都可以的情况     
ret = re.match("[hH]","hello Python")     
ret.group()
ret = re.match("[hH]","Hello Python")     
ret.group()     
# 匹配0到9第一种写法     
ret = re.match("[0123456789]","7Hello Python")     
ret.group()     
# 匹配0到9第二种写法     
ret = re.match("[0-9]","7Hello Python")     
ret.group()

示例3：

import re     
# 使用\d进行匹配     
ret = re.match("嫦娥\d号","嫦娥1号发射成功")     
print ret.group()     
ret = re.match("嫦娥\d号","嫦娥2号发射成功")     
print ret.group()     
ret = re.match("嫦娥\d号","嫦娥3号发射成功")     
print ret.group()

3、表示数量

字符	功能
*	匹配前一个字符出现0次或者无限次，即可有可无
+	匹配前一个字符出现1次或者无限次，即至少有1次
?	匹配前一个字符出现1次或者0次，即要么有1次，要么没有
{m}	匹配前一个字符出现m次
{m,}	匹配前一个字符至少出现m次
{m,n}	匹配前一个字符出现从m到n次

示例1：
匹配出，一个字符串第一个字母为大小字符，后面都是小写字母并且这些小写字母可有可无

import re
ret = re.match("[A-Z][a-z]*","Mm") 
ret.group() 
ret = re.match("[A-Z][a-z]*","Aabcdef") 
ret.group()

示例2：
匹配出，变量名是否有效

import re 
ret = re.match("[a-zA-Z_]+[\w_]*","name1") 
ret.group() 
ret = re.match("[a-zA-Z_]+[\w_]*","_name") 
ret.group() 
ret = re.match("[a-zA-Z_]+[\w_]*","2_name") 
ret.group()

示例3：
匹配出，0到99之间的数字

import re
ret = re.match("[1-9]?[0-9]","7")
 ret.group()
 
ret = re.match("[1-9]?[0-9]","33") 
ret.group()
 
ret = re.match("[1-9]?[0-9]","09") 
ret.group()

示例4：
匹配出，8到20位的密码，可以是大小写英文字母、数字、下划线

import re 
ret = re.match("[a-zA-Z0-9_]{6}","12a3g45678") 
ret.group() 
ret = re.match("[a-zA-Z0-9_]{8,20}","1ad12f23s34455ff66") 
ret.group()

4、表示边界

字符	功能
^	匹配字符串开头
$	匹配字符串结尾
\b	匹配一个单词的边界
\B	匹配非单词边界

示例1：
匹配163.com的邮箱地址

import re

# 正确的地址 
ret = re.match("[\w]{4,20}@163\.com", "[email protected]") ret.group()
 
# 不正确的地址
ret = re.match("[\w]{4,20}@163\.com", "[email protected]") 
ret.group()
 
# 通过$来确定末尾 
ret = re.match("[\w]{4,20}@163\.com$", "[email protected]") 
ret.group()

5、表示分组

字符	功能
（竖线此处不可显示）	匹配左右任意一个表达式
(ab)	将括号中字符作为一个分组
\num	引用分组num匹配到的字符串
(?P)	分组起别名
(?P=name)	引用别名为name分组匹配到的字符串

示例1：
匹配出0-100之间的数字

import re
# 修正之后的 
ret = re.match("[1-9]?\d$","08") 
ret.group()
 
# 添加| 
ret = re.match("[1-9]?\d$|100","8") 
ret.group()
 
ret = re.match("[1-9]?\d$|100","78") 
ret.group()
 
ret = re.match("[1-9]?\d$|100","08") 
ret.group()
 
ret = re.match("[1-9]?\d$|100","100") 
ret.group()

示例2：
匹配出163、126、qq邮箱之间的数字

import re
 
ret = re.match("\w{4,20}@163\.com", "[email protected]") 
ret.group()
 
ret = re.match("\w{4,20}@(163|126|qq)\.com", "[email protected]") 
ret.group()
 
ret = re.match("\w{4,20}@(163|126|qq)\.com", "[email protected]") 
ret.group()
 
ret = re.match("\w{4,20}@(163|126|qq)\.com", "[email protected]") 
ret.group()

示例3：
匹配出hh

import re
 
# 通过引用分组中匹配到的数据即可，但是要注意是元字符串，即类似 r""这种格式 
ret = re.match(r"<([a-zA-Z]*)>\w*</\1>", "<html>hh</html>") 
ret.group()
 
# 因为2对<>中的数据不一致，所以没有匹配出来 
ret = re.match(r"<([a-zA-Z]*)>\w*</\1>", "<html>hh</htmlbalabala>") 
ret.group()

示例4：

匹配出<html><h1> www.itcast.cn</h1></html> 
import re 
ret = re.match(r"<(\w*)><(\w*)>.*</\2></\1>", "<html>
 <h1>www.itcast.cn</h1></html>") 
ret.group() 
ret = re.match(r"<(\w*)><(\w*)>.*</\2></\1>", "<html> 
<h1>www.itcast.cn</h2></html>") 
ret.group()

创作者：Eric· Charles