PYTHON爬虫（urllib详解）

一 综述

• 常用的有三个模块：request（发送请求）、error（错误处理）、parse（解析html）

二 请求-request

1 request对象

• request.Request(url=url,data=data,headers=headers,method='POST')
• request.add_header('.....')

三 响应-response

1 响应头

2 响应体

• response.read().decode('utf-8')

四 异常处理-error

• URLerror
• HTTPerror

五 URL解析-parse

• url的组成：协议、域名、路径、参数、锚点（用于指定网络资源中的片断，以 # 为标志）
• urlencode（）:将字典转化为 get 请求的参数

from urllib.parse import urlencode
base_url='https://www.baidu.com?'
dict1={
    'name':'kaka',
    'password':'ab123'
}
print (base_url+urlencode(dict1))