python关于re库的整理

1,爬取解析一个简单的网页数据都有什么步骤呢?

  1.1,首先应该用requests构建一个请求,将请求成功返回的数据,传递给一个response对象,我们这里先假设这个response对象名字为 r 吧;

  1.2,然后嘛调用BeautifulSoup库,比如BeautifulSoup(r.text,'html.parser')使用html解析器把html页面的源代码解析成易于理解标签形式;

  1.3,正则表达式可以快速分析大量文本找到特定的字符串模式,然后进行提取编辑替换等操作;所以接下来就是对正则表达式的学习了;

2,正则表达式  regular expression;python标准库;

  2.0,正则表达式定义:正则表达式表示具有特定性质的一组字符串;由普通字符和操作符组成;

  2.1,正则表达式的常用操作符:

    2.1.1, .   表示除换行符外的任意字符;

    2.1.2, [ ] 表示单字符范围;  eg:[abc]表示a或b或c;[a-z]表示a到z中的某一个字符;

    2.1.3, [^  ]  表示单字符排除范围;  eg:[^abc]表示abc之外的任意字符;

扫描二维码关注公众号,回复: 4316796 查看本文章

    2.1.4,* 前一个字符任意次扩展,相当于{0,};  eg:abc*表示ab,abc,abcc等;

    2.1.5,+ 前一个字符至少一次扩展,相当于{1,};  eg: abc+表示abc,abcc,abccc等;

    2.1.6,?前一个字符扩展0次或1次,相当于{0,1};  eg: abc?表示ab或abc;

    2.1.7,{m} 前一个字符的m次扩展;  eg:abc{2}表示abcc;

    2.1.8,{m,n}前一个字符的[m,n]次扩展;  eg:ab[1,2]c 表示abc和abbc;

    2.1.9,| 表示左右表达式中的任意一个,相当于或;  eg: abc | abd 表示abc或abd;

    2.1.10,^ 字符串开头匹配;  eg: ^a匹配abc中的a,不匹配abc中的b和c;^b不匹配abc中的b;

    2.1.11,$字符串结尾匹配;  eg: c$ 匹配abc中的c,b$不匹配abc中的b;

    2.1.12,()分组标记,内部只能使用|操作符;  eg:(abc|abd)表示abc或abd;

    2.1.13,\d 表示数字0到9中的一个,相当于[0-9];

    2.1.14,\w 表示单字符a-z,A-Z,0-9;相当于[a-zA-Z0-9];

    2.1.15,\D表示数字0到9之外的单字符,相当于[^0-9];  (这里的运算符是[^  ]作为整体)

    2.1.16,\w表示除了a-z和A-Z和0-9之外的字符,相当于[^a-zA-Z0-9];

    2.1.17,尚待补充;还有好多的;:)

  2.2,正则表达式的经典实例;

    2.2.1, ^[a-zA-Z0-9]+$ :  表示仅由英文字符和数字组成的字符串; [1-9]?\d  : 表示0-99;

    2.2.2, [1-9]\d{5} : 表示我国境内的6位邮政编码;

    2.2.3, ^-?\d+$ : 表示整数形式的字符串;-?这里代表的是负号是否需要;

    2.2.4,[\u4e00-\u9fa5]  :表示使用utf-8编码来匹配中文字符;

  2.3,正则表达式的表示类型;

    2.3.1,raw string类型(原生字符串类型);

        类型格式: r ' 正则表达式字符串 '  ; eg:   r' [1-9]\d{5} ' ;

           类型备注:raw string类型对转义字符不会进行再次转义;

    2.3.2,string类型;

         类型格式:' 此处正则表达式字符串若是有转义字符,转义字符重复一遍'  ;eg: ' [1-9]\\d{5}' ;

            类型备注:建议使用raw string;

3,正则表达式库的部分函数方法;

  3.0,正则表达式的形式的操作参数;

    3.0.1,pattern:正则表达式表示的字符串或原生字符串;

    3.0.2,string:等着被匹配出有效信息的字符串,简称带匹配字符串;

    3.0.3,maxsplit : 待匹配字符串最大分割次数;

    3.0.4,repl : 替换匹配字符串的字符串;

    3.0.5,count:替换匹配字符串的最大替换次数;

    3.0.6,flags:正则表达式使用时的控制标记;

         (1)re.I :匹配时忽略英文字符大小写的控制标记;全称re.INGORECASE;

         (2)re.M :将^操作符的开头匹配改为对字符串的每行开头匹配的控制标记;全称re.MULTILINE;

         (3)re.S :点操作符默认不匹配换行符,设置点操作符也可以匹配换行符的控制标记;全称re.DOTALL;

  3.1,re.search(pattern,string,flags=0)

      函数功能:在字符串中找到匹配正则表达式的字符串,返回match对象;

      函数例子:re.search( r'[1-9]\d{10}' , '胡犀牛13019841984' ) 

      例子意义:表示将待匹配字符串中的电话号码提取出来;(然后放到哪里呢??)      

  3.2,re.match(pattern,string,flags=0)

     函数功能:从字符串开头进行re匹配,要是开头不匹配re,则返回的match对象就是为空;

     函数例子:re.match( r'[1-9]\d{10}' , '胡犀牛13019841984')

     例子意义:待匹配字符串的开头不是电话号码,所以不匹配,返回match对象为空,如果调用当前这个空的match对象的方法就会报错;因为空对象不存在属性,也就不存在方法;

  3.3,re.findall(pattern,string,flags=0)

     函数功能:将待匹配字符串中所有能匹配的子串以列表形式返回;

     函数例子:re.findall( r'\d{11}' , '胡犀牛13019841984  钟神医 13018741874')

     例子意义:string中的两个电话号码都可以匹配,放入返回的列表类型中;

  3.4,re.split((pattern,string,maxsplit=0,flags=0)

     函数功能:将正则表达式作为分割点,按分割次数将字符串分割,其中可以匹配的子字符串每次分割的时候排除掉;返回列表类型;

     函数例子:re.split( r' \d{11}' , '胡犀牛13019841984  钟神医 13018741874',maxsplit=1)

     例子意义:分割后返回的列表类型为 [ '胡犀牛','薛神医13018741874'];分割一次,所以排除了一个电话号码,排除点作为分割点;

  3.5,re.findditer(pattern,string,flags=0)

     函数功能:将string中所有匹配子字符串作为一个迭代类型返回,其中每个迭代元素都是match对象,具有match对象的属性;

     函数例子:for num in re.finditer( r'\d{11}','胡犀牛13019841984 薛神医13018741874')

     例子意义:匹配后的两个号码作为迭代类型,供num对象循坏调用;

  3.6,re.sub((pattern,repl, string,count=0,flags=0)

     函数功能:将匹配的子字符串替换掉,替换次数不超过count次,返回替换后的字符串;

     函数例子:re.sub(r'\d{11}','phone_num','胡犀牛13019841984 薛神医13018741874')

     例子意义:替换后的字符串为 '胡犀牛phone_num 薛神医phone_num' ;sub全称substitute;

4,Re库的调用形式;

  4.1,函数式用法;如果对于某个字符串只用一次re操作,这样用比较方便;

    eg: rst=re.search(r'\d{11}','胡犀牛13019841984 薛神医1318741874')

  4.2,将正则表达式形式的字符串编译生成regex对象,然后去调用正则表达式的函数;减少编译次数,加快程序运行速度;

    eg:  regex=re.compile( 正则表达式的字符串形式)     

      #将re字符串形式编译成pattern类型,对象名字也是pattern;是正则表达式对象,可以视作一组字符串;

      #正则表达式对象可以调用RE库的方法;那不就是re库的函数吗?而且因为re字符串形式经过了编译,好多参数不需要了还可以省略;

         regex.search( '待匹配的字符串' )  返回match对象;

      regex.match('待匹配的字符串')  返回match对象;

      regex.findall('待匹配字符串')  返回列表类型;

      regex.split('待匹配字符串')  返回列表类型;

      regex.finditer('待匹配字符串')  返回迭代类型,迭代元素为match对象;

      regex.sub('待匹配字符串')  返回字符串;

猜你喜欢

转载自www.cnblogs.com/caesura-k/p/10047350.html