为什么用python写爬虫程序？
1、PHP：对多线程、异步支持不是很好，并发处理能力弱。爬虫是工具性程序，对速度和效率要求较高。
2、Java：生态圈很完善。但java本身很笨重，代码量很大。重构成本比较高，任何修改会导致代码大量改动。
3、C/C++:运行效率是无敌的。但学习和开发成本高，写个小爬虫程序要大半天时间。
4、python：相关HTTP请求模块和HTML解析模块丰富，还有相关框架方便爬虫。
http协议和chrome抓包工具
http协议，服务器端口号是80.https协议，服务器端口号是443。
url详解
一个URL由几部分组成：
scheme://host:port/path/?query-string=xxx#anchor
scheme:访问的协议，比如http或https或ftp
host：主机名，域名，如www.baidu.com
port:端口号，默认80端口
path：查找路径。如www.jianshu.com/trending/now,trending/now就是path
query-string：查询字符串，如www.baidu.com/s?wd=python,wd=python就是查询的字符串
anchor：锚点，前端用来做页面定位。
http请求方法
http协议中，定义8中请求方法，get和post是常见的两种。
1、get：只从服务器获取数据
2、post:向服务器发送数据（登录）、上传文件等
以上是一般情况，当时有些网站或服务器做了反爬虫机制（如拉勾网），就不会按常理出牌，有可能应该用get请求要改为post请求，视情况而定。
请求头常见参数
向服务器发送请求，数据分为三个部分，第一是把数据放在url中，第二是把数据放在body中（在post请求中），第三是放在head中。
1.user-agent：浏览器名称。请求一个网页时，服务器通过这个参数知道是哪种浏览器发送的，如果通过爬虫发送请求，则user-agent为python，有反爬虫机制的网站就轻易判断这个请求时爬虫。
2.referer：表明当前请求时哪个url来的，这个也可以来做反爬虫技术。如果不是从指定页面过来，就不做相关响应。
3.cookie：一般想要做登录后才能访问的网站，就需要发送cookie信息。
常见响应状态码
1.200：请求正常。（但有些反爬虫机制的网站可能会返回200，但是数据可能是伪造的错误数据）
2.301：永久重定向。比如在访问www.jingdong.com时重定向到www.jd.com
3.302:临时重定向。
4.400：请求url错误
5.403：服务器拒绝访问，权限不够
6.500：服务器内部错误