模拟某个浏览器抓取数据,要与浏览器中的header里的属性保持一致
抓取数据思路:
访问url链接(发送请求) -> 获取网页版的html(获取页面) -> 对html进行解析(解析页面)
-> 解析后获取相应的数据并写入新的文件(抽取并存储内容)
分享学习计划:
1.学习 Python 包并实现基本的爬虫过程
2.了解非结构化数据的存储
3.学习scrapy,搭建工程化爬虫
4.学习数据库知识,应对大规模数据存储与提取
5.掌握各种技巧,应对特殊网站的反爬措施
6.分布式爬虫,实现大规模并发采集,提升效率
仅分享思路,若要阅览完整Demo实例的话,可参照以下链接: