python爬虫--05 正则表达式

1 介绍

用来简洁表达一组字符串的表达式
编译:将符合正则表达式语法的字符串转换成正则表达式特征

2 语法

操作符             说明                        实例
.        表示任何单个字符(\n除外)               a.c->abc
[]       字符集,对单个字符给出取值范围          [a‐z]表示a到z单个字符
[^ ]     非字符集,对单个字符给出排除范围        [^abc]表示非a或b或c的单个字符
*        前一个字符0次或无限次扩展              abc* 表示 a*b、abc、abcc、abccc等
+        前一个字符1次或无限次扩展              abc+ 表示 abc、abcc、abccc等
?        前一个字符0次或1次扩展                abc? 表示 ab、abc
|        左右表达式任意一个                    abcdef 表示 abc、def
{m}      扩展前一个字符m次                     b{2}c表示abbc
{m,n}    扩展前一个字符m至n次(含n)            ab{1,2}c表示abc、abbc
^        匹配字符串开头                        ^abc表示abc且在一个字符串的开头
$        匹配字符串结尾                        abc$表示abc且在一个字符串的结尾
( )      分组标记,内部只能使用竖线操作符       (abc)表示abc,(abc竖线def)表示abc、def
\d       等价于[0-9]匹配一个数字字符
\D       等价于[^0-9]匹配一个非数字字符
\s       等价于[\f\n\r\t\v]匹配任何空白字符,包括空格、制表符、换页符
\S       等价于 [^ \f\n\r\t\v]匹配任何非空白字符
\w       等价于'[A-Za-z0-9下划线]'匹配包括下划线的任何单词字符
\W       等价于 '[^A-Za-z0-9]匹配任何非单词字符

常用正则表达式

[\u4e00-\u9fa5]                             匹配中文字符
\d{3}‐\d{8}|\d{4}‐\d{7}                     国内电话号码,010‐68913536
[1‐9]\d{5}                                  国内邮编
\n\s*\r                                     空白行
\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)* 邮件
[a-zA-z]+://[^\s]*                          URL
[1-9][0-9]{4,}                              QQ
^(\d{6})(\d{4})(\d{2})(\d{2})(\d{3})([0-9]|X)$ 身份证号
^[1-9]\d*$                                  正整数
^-?[1-9]\d*$                                整数

3 re库

介绍

Re库是Python的标准库,主要用于字符串匹配,应用:import re

表示类型

raw string类型(原生字符串类型)
    r'[1‐9]\d{5}'
    r'\d{3}‐\d{8}|\d{4}‐\d{7}'
string类型
    '[1‐9]\\d{5}'
    '\\d{3}‐\\d{8}|\\d{4}‐\\d{7}'

4 re库主要功能函数

主要函数

re.search():在一个字符串中搜索匹配正则表达式的第一个位置,返回match对象
re.match():从一个字符串的开始位置起匹配正则表达式,返回match对象
re.findall():搜索字符串,以列表类型返回全部能匹配的子串
re.split():将一个字符串按照正则表达式匹配结果进行分割,返回列表类型
re.finditer():搜索字符串,返回一个匹配结果的迭代类型,每个迭代元素是match对象
re.sub():在一个字符串中替换所有匹配正则表达式的子串,返回替换后的字符串

re.search(pattern, string, flags=0)

import re
match = re.search(r'[1-9]\d{5}','BIT 100861')
if match:
    print(match)
    print(match.group(0))
><_sre.SRE_Match object; span=(4, 10), match='100861'>
>100861

re.match(pattern, string, flags=0)

>import re
match = re.match(r'[1-9]\d{5}','100861 BIT 100087')
print(match.group(0))
>100861

re.findall(pattern, string, flags=0)

import re
ls = re.findall(r'[1-9]\d{5}','100861 BIT 100087')
print(ls)
>['100861', '100087']  ## 返回列表

re.sub(pattern, repl, string, count=0, flags=0)

import re
phone = "2004-959-559 # 这是一个电话号码"
num = re.sub(r'#.*$', "", phone)    # 删除注释
print("电话号码 : ", num)
num = re.sub(r'\D', "", phone)    # 移除非数字的内容
print("电话号码 : ", num)
>电话号码 :  2004-959-559 
>电话号码 :  2004959559

re.split(pattern, string, maxsplit=0, flags=0)

import re
m = re.split(r'[1-9]\d{5}','BIT100861 BIT100082')
print(m)
>['BIT', ' BIT', '']

re.finditer(pattern, string, flags=0)

import re
for m in re.finditer(r'[1-9]\d{5}','BIT100861 BIT100082'):
    if m:                                    ## 判断m为字符串
        print(m.group(0))

5 re库的等价用法

函数式用法:一次性操作
    rst = re.search(r '[1‐9]\d{5}','BIT 100081')
面向对象用法:编译后的多次操作
    pat= re.compile(r'[1‐9]\d{5}')
    rst= pat.search('BIT 100081')
    
**regex=re.compile(pattern,flags=0)

6 re的Match对象

Match对象

Match对象是一次匹配的结果,包含匹配的很多信息
import re
match = re.search(r'[1-9]\d{5}','BIT 180061')
if match:
    print(match)
    print(match.group(0))
    print(type(match))
><re.Match object; span=(4, 10), match='180061'>
>180061
><class 're.Match'>

Match对象的属性

.string:待匹配的文本
.re:匹配时使用的patter对象(正则表达式)
.pos:正则表达式搜索文本的开始位置
.endpos:正则表达式搜索文本的结束位置

Match对象的方法

.group(0):获得匹配后的字符串
.start():匹配字符串在原始字符串的开始位置
.end():匹配字符串在原始字符串的结束位置
.span():返回(.start(),.end())
import re
m = re.search(r'[1-9]\d{5}','BIT 180061 TSU 180064')
if m:
    print(m)
    print(type(m))
    print(m.string)
    print(m.re)
    print(m.pos)
    print(m.endpos)
    print(m.start())
    print(m.end())
    print(m.span())
    print(m.group(0))
><re.Match object; span=(4, 10), match='180061'>
><class 're.Match'>
>BIT 180061 TSU 180064
>re.compile('[1-9]\\d{5}')
>0
>21
>4
>10
>(4, 10)
>180061

7 re的贪婪匹配和最小匹配

贪婪匹配: Re库默认采用贪婪匹配,即输出匹配最长的子串
最小匹配规则:
    *?:前一个字符0次或无限次扩展,最小匹配
    +?:前一个字符1次或无限次扩展,最小匹配
    ??:前一个字符0次或1次扩展,最小匹配
    {m,n}?:扩展前一个字符m至n次(含n),最小匹配
只要长度输出可能不同的,都可以通过在操作符后增加?变成最小匹配
import re
## 贪婪匹配
m = re.search(r'PY.*N','PYANBNCNDN')
print(m.group(0))
## 最小匹配
n = re.search(r'PY.*?N','PYANBNCNDN')
print(n.group(0))
>PYANBNCNDN
>PYAN
发布了108 篇原创文章 · 获赞 7 · 访问量 5191

猜你喜欢

转载自blog.csdn.net/qq_25672165/article/details/104906492
今日推荐