1、正则表达式(RexEx)常用知识
2、python中re模块的初步使用
1)、findall方法
ret = re.findall('a', 'eva egon yuan') # 返回所有满足匹配条件的结果,放在列表里 print(ret) #结果 : ['a', 'a']
2)、search方法
ret = re.search('a', 'eva egon yuan').group() print(ret) #结果 : 'a'
函数会在字符串内查找模式匹配,只到找到第一个匹配然后返回一个包含匹配信息的对象,该对象可以
通过调用group()方法得到匹配的字符串,
如果字符串没有匹配,则返回None,就无法使用group()方法,会报错!AttributeError: 'NoneType' object has no attribute 'group'
# 所以先判断不是None后,才去使用group()方法得到字符串! ret = re.search('b', 'eva egon yuan') if ret is not None: print(ret.group()) else: print('没有找到!')
3)、match方法
et = re.match('a', 'abc').group() # 同search,不过只在字符串开始处进行匹配 print(ret) #结果 : 'a' # -todo 同样:match也要先判断不是None后,才去使用group()方法得到字符串! ret = re.match('d', 'abc') if ret is not None: print(ret.group()) else: print('没有找到!')
4)、split,sub,subn,compile,finditer方法
1 et = re.split('[ab]', 'abcd') # 先按'a'分割得到''和'bcd',再对''和'bcd'分别按'b'分割 2 print(ret) # ['', '', 'cd'] 3 4 ret = re.sub('\d', 'H', 'eva3egon4yuan4', 2) # 将数字替换成'H',参数1表示只替换2个 5 print(ret) # evaHegon4yuan4 6 7 ret = re.subn('\d', 'H', 'eva3egon4yuan4') # 将数字替换成'H',返回元组(替换的结果,替换了多少次) 8 print(ret) # ('evaHegonHyuanH', 3) 9 10 obj = re.compile('\d{3}') #将正则表达式编译成为一个 正则表达式对象,规则要匹配的是3个数字 11 ret = obj.search('abc123eeee') #正则表达式对象调用search,参数为待匹配的字符串 12 if ret is not None: 13 print(ret.group()) # 结果 : 123 14 print('There is no such item!') 15 16 17 ret = re.finditer('\d', 'ds3sy4784a') # finditer返回一个存放匹配结果的迭代器 18 print(ret) # <callable_iterator object at 0x10195f940> 19 20 try: 21 print(next(ret).group()) # 查看第一个结果 22 print(next(ret).group()) # 查看第二个结果 23 print([i.group() for i in ret]) # 查看剩余的左右结果 24 except StopIteration: 25 print('没有可匹配的结果!')
5、注意优先级查询:
1)、findall的优先级查询:
ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com') print(ret) # ['oldboy'] 这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可 ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com') print(ret) # ['www.oldboy.com']
2)、split的优先级查询
ret = re.split("\d+", "eva3egon4yuan") print(ret) # 结果 : ['eva', 'egon', 'yuan'] ret = re.split("(\d+)", "eva3egon4yuan") print(ret) # 结果 : ['eva', '3', 'egon', '4', 'yuan']
在匹配部分加上()之后所切出的结果是不同的,
没有()的没有保留所匹配的项,但是有()的却能够保留了匹配的项,
这个在某些需要保留匹配部分的使用
过程是非常重要的。
6、简单爬虫精简版:豆瓣电影榜
1 from urllib.request import urlopen 2 3 def getPage(url): 4 response = urlopen(url) 5 return response.read().decode('utf-8') 6 7 def parsePage(s): 8 com = re.compile( 9 '<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>' 10 '.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)评价</span>', re.S) 11 12 ret = com.finditer(s) 13 for i in ret: 14 yield { 15 "id": i.group("id"), 16 "title": i.group("title"), 17 "rating_num": i.group("rating_num"), 18 "comment_num": i.group("comment_num"), 19 } 20 21 22 def main(num): 23 url = 'https://movie.douban.com/top250?start=%s&filter=' % num 24 response_html = getPage(url) 25 ret = parsePage(response_html) 26 print(ret) 27 f = open("move_info7", "a", encoding="utf8") 28 29 for obj in ret: 30 print(obj) 31 data = str(obj) 32 f.write(data + "\n") 33 34 count = 0 35 for i in range(10): 36 main(count) 37 count += 25