课程大纲
第一课 静态网页爬虫:爬虫的基础技术
HTML
CSS 选择器
JavaScript 介绍
lxml 及 XPath
Python 里的网络请求)
高速位缓存设计:BloomFilter
第一个爬虫:蚂蜂窝的游记
第二课 登录及动态网页的抓取
表单
网站登录及Cookie
Headless 的浏览器:PhantomJS.
浏览器的驱动:Selenium
动态网页数据获取
第三课 微博的抓取
微博网站分布及结构分析
通过动态页面来抓取
微博网络接口的逆向分析
Java 的反编译
加密库
源代码的接口分析
第四课 多线程与过进程的爬虫
- 线程与进程
- Python 的多线程约束
- 多个线程同时抓取
- 多个进程同时抓取
第五课 微博数据的存储:分布式数据库及应用
SQL 与 NoSQL
Hadoop 架构
HDFS
HBase
MongoDB
Redis
基于分布式数据库的分布式爬虫
第六课 多机并行的微博抓取:分布式系统设计
Socket 编程
Master 设计
Slave 设计
任务调度及通信协议
分布式集群部署的爬虫
第七课 分布式系统进阶:复杂的分布式机制
分布式应用协调服务:ZooKeeper
分布式消息队列管理:RabbitMQ/Kafka
服务发布及注册
灰度升级
第八课 微博数据查询:分布式数据库系统的优化及负载均衡
复制与分片
流量控制及均衡
分布式事物及锁
Redis 的核心技术介绍
MongoDB 的关键技术
MySQL 的查询过程介绍及优化要素
第九课 PageRank、网页动态重拍及应对反爬虫技术的手段
- PageRank 计算模型及推导
- 网页抓取顺序重排
- 网站服务架构
- 寻找与利用分布式服务器
- 多IP技术与路由控制
第十课 验证码的处理,京东、淘宝的数据抓取及存储案例
- 基于距离的图片比对
- 基于 TesseractOcr 的数字识别
- 其它验证码识别方案
- 京东数据抓取!
- 淘宝数据抓取
第十一课 网页内容排重
SimHash
海明距离
海量数据的相似度计算
网页排重
语义哈希简介
第十二课 自动摘要及正文抽取
- 距离与联合概率
- 自动摘要
- K-Means 算法
- 基于Text/Tag 的正文计算
- PyGoose 的开源系统
第十三课 网页分类与针对文本的机器学习应用
网页分类基础
分词与特征抽取
线性回归
SVM
Logistic Regession
网页分类
多分类器
词向量简介
第十四课 信息检索、搜索引擎原理及应用
搜索引擎架构介绍
正排表与倒排表
Bool 模型
Vector 模型
概率模型0
Elastic Search
下载地址:百度网盘