正则表达式 re:
首先impo re
使用字符,转义字符和特殊字符组成一个规则,使用这个规则对文本的内容完成一个搜索或者匹配或替换的功能
正则表达式的组成:
普通字符: 大小写字母,数字,符合……
转义字符:\w,\W,\d,\D,\s,\S……
特殊字符:. *?^+[]{}()……
匹配模式:I U……
import re
#使用正则表达式进行匹配的基本语法
#1.定义字符串
vars='snh48xjq'
#2.告诉我要找什么
reg='\d'
#3.调用正则函数
res=re.finditer(reg,vars)
print(next(res))
re.match() 函数
从头开始匹配
要么第一个就符合要求,要么不符合
匹配成功则返回match对象,否则返回None
可以使用group()方法获取返回的数据
可以使用span()方法获取匹配的数据的下标区间
re.search()
从字符串开头到结尾进行搜索匹配
匹配成功则返回match对象,否则返回None
可以使用group()方法获取返回的数据
可以使用span()方法获取匹配的数据的下标区间
区别:
match()是从字符串开头进行匹配,如果开头不符合正则要求,则匹配失败,返回None
search()是从字符串的开始位置一直搜索到字符串最后,如果在整个字符串中没有匹配到,则失败,返回None
import re
#使用正则表达式进行匹配的基本语法
#1.定义字符串
vars='snh48TeamSIIXjq'
#2.告诉我要找什么
reg1='snh'
reg2='SII'
#3.调用正则函数
res=re.match(reg1,vars)
print(res.group())#获取返回的结果数据
print(res.span())#获取匹配结果的下标区间
print('----------------------')
res=re.search(reg2,vars)
print(res.group())
print(res.span())
import requests
import json
#如何爬取图片数据
if __name__=="__main__":
#如何爬取图片数据
url='https://pic.qiushibaike.com/system/pictures/12419/124194520/medium/FQM9VTDAWFWWPUY0.jpg'
#content返回的是二进制形式的图片数据
#text(字符串) content(二进制)json()(对象)
img_data=requests.get(url=url).content
with open('./picture.jpg','wb')as fp:
fp.write(img_data)
import requests
import re
import os
#如何爬取图片数据
if __name__=="__main__":
#创建一个文件夹,保存所有的图片
if not os.path.exists('./tupianLibs'):
os.mkdir('./tupianLibs')
url='https://www.qiushibaike.com/imgrank/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome'
'/89.0.4389.90 Safari/537.36 Edg/89.0.774.63'}
#使用通用爬虫对url对应一整张页面进行爬取
page_text=requests.get(url=url,headers=headers).text
#使用聚焦爬虫将页面中所有的图片进行解析/提取
ex='<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
img_src_list=re.findall(ex,page_text,re.S)
print(img_src_list)
#遍历
for src in img_src_list:
src = 'https:'+src #拼接出一个完整你的图片url
#请求到了图片的二进制数据
img_data=requests.get(url=src,headers=headers).content
#生成图片名称
img_name=src.split('/')[-1]
#图片存储路径
imgPath = './tupianLibs/'+img_name
with open(imgPath,'wb') as fp:
fp.write(img_data)
print(img_name,'下载成功')
3#分页查询
import requests
import re
import os
#如何爬取图片数据
if __name__=="__main__":
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome'
'/89.0.4389.90 Safari'
'/537.36 Edg/89.0.774.63'}
#创建一个文件夹,保存所有的图片
if not os.path.exists('./tupianLibs'):
os.mkdir('./tupianLibs')
#设置一个通用的url模板
url='https://www.qiushibaike.com/imgrank/page/%d/'
for pageNum in range(1,10):
#对应页码的url
new_url=format(url%pageNum)
#使用通用爬虫对url对应一整张页面进行爬取
page_text=requests.get(url=url,headers=headers).text
#使用聚焦爬虫将页面中所有的图片进行解析/提取
ex='<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
img_src_list=re.findall(ex,page_text,re.S)
print(img_src_list)
#遍历
for src in img_src_list:
src = 'https:'+src #拼接出一个完整你的图片url
#请求到了图片的二进制数据
img_data=requests.get(url=src,headers=headers).content
#生成图片名称
img_name=src.split('/')[-1]
#图片存储路径
imgPath = './tupianLibs/'+img_name
with open(imgPath,'wb') as fp:
fp.write(img_data)
print(img_name,'下载成功')