一张图了解 爬虫程序 与 反爬虫 之间的关系:
在前6篇文章中,了解了 爬虫基础 :
- chrome网页解析方法
- requests模拟访问网页
- re正则表达式筛选关键词
- bs4框架等
其中也了解了部分反爬基础:
- 模拟网页登录而不是Python访问网
(网页访问是基于每个浏览器不同,有不同的request-header,如果是Python访问则没有) - 其次,深入一点是cookie
(这是加密网站给每次密码登录用户的一个辨别身份的代号,随登陆时网站刷新而刷新) - more
一张图了解 爬虫程序 与 反爬虫 之间的关系:
在前6篇文章中,了解了 爬虫基础 :
其中也了解了部分反爬基础: