一般面试官的第一个问题八成都是问一下以前做过的项目，所以最好准备两个自己最近写的有些技术
含量的项目，当然一定要自己亲手写过的，在别的地方看的源码，就算看的再清楚，总归没有自己敲的
了解的多。以下是抽出的几点
1.你写爬虫的时候都遇到过什么反爬虫措施，你是怎么解决的?
通过headers反爬虫：解决策略，伪造headers
基于用户行为反爬虫：动态变化去爬取数据，模拟普通用户的行为
通过动态更改代理ip来反爬虫
基于动态页面的反爬虫：跟踪服务器发送的ajax请求，模拟ajax请求,selnium 和phtamjs
2.用的什么框架，为什么选择这个框架(我用的是scrapy框架，所以下面的问题也是针对scrapy)
scrapy
基于twisted异步io框架,是纯python实现的爬虫框架,性能是最大的优势
可以加入request和beautifulsoup
方便扩展,提供了很多内置功能
内置的cssselector和xpath非常方便
默认深度优先
pyspider: 爬虫框架,基于PyQuery实现的
优势: 1. 可以实现高并发的爬取数据, 注意使用代理;
2. 提供了一个爬虫任务管理界面, 可以实现爬虫的停止,启动,调试,支持定时爬取任务;
3. 代码简洁
劣势: 1.可扩展性不强;
2.整体上来说: 一些结构性很强的, 定制性不高, 不需要太多自定义功能时用pyspider即可, 一些定制性高的,需要自定义一 些 功能时则使用Scrapy
二.框架问题（scrapy）可能会根据你说的框架问不同的问题，但是scrapy还是比较多的
1.scrapy的基本结构（五个部分都是什么，请求发出去的整个流程）
流程
1.引擎打开一个域名，蜘蛛处理这个域名，并让蜘蛛获取第一个爬取的URL。
2.引擎从蜘蛛那获取第一个需要爬取的URL，然后作为请求在调度中进行调度。
3.引擎从调度那获取接下来进行爬取的页面。
4.调度将下一个爬取的URL返回给引擎，引擎将他们通过下载中间件发送到下载器。
5.当网页被下载器下载完成以后，响应内容通过下载中间件被发送到引擎。
6.引擎收到下载器的响应并将它通过蜘蛛中间件发送到蜘蛛进行处理。
7.蜘蛛处理响应并返回爬取到的项目，然后给引擎发送新的请求。
8.引擎将抓取到的项目项目管道，并向调度发送请求。
系统重复第二步后面的操作，直到调度中没有请求，然后断开引擎与域之间的联系
2.scrapy的去重原理 （指纹去重到底是什么原理）
需要将dont_filter设置为False开启去重，默认是False；
对于每一个url的请求，调度器都会根据请求的相关信息加密得到一个指纹信息，并且将指纹信息和set()集合中得指纹信息进行比对，如果set()集合中已经存在这个数据，就不在将这个Request放入队列中。如果set()集合中没有，就将这个Request对象放入队列中，等待被调度。
3.scrapy中间件有几种类，你用过那些中间件，
scrapy的中间件理论上有三种(Schduler Middleware,Spider Middleware,Downloader Middleware),在应用上一般有以下两种
1.爬虫中间件Spider Middleware
主要功能是在爬虫运行过程中进行一些处理.
2.下载器中间件Downloader Middleware
主要功能在请求到网页后,页面被下载时进行一些处理.
4.scrapy中间件再哪里起的作用（面向切面编程）
三.代理问题
1.为什么会用到代理
一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会会禁止这个IP的访问。所以我们需要设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。
2.代理怎么使用（具体代码，请求在什么时候添加的代理）
3.代理失效了怎么处理
四.验证码处理
1.登陆验证码处理
2.爬取速度过快出现的验证码处理
3.如何用机器识别验证码
五.模拟登陆问题
1.模拟登陆流程
2.cookie如何处理
3.如何处理网站传参加密的情况
六.分布式
1.什么是分布式
需要计算的数据量大，任务多，一台机器搞不定或者效率极低，需要多台机器共同协作（而不是孤立地各做各的，所以需要通信），最后所有机器完成的任务汇总在一起，完成大量任务.
将一个项目拷贝到多台电脑上，同时爬取数据
分布式爬虫则是将多台主机组合起来，共同完成一个爬取任务，这将大大提高爬取的效率。
记住爬虫的本质是网络请求和数据处理，如何稳定地访问网页拿到数据，如何精准地提取出高质量的数据才是核心问题。
2.分布式原理
3.分布式如何判断爬虫已经停止了
4.分布式去重原理
对于每一个url的请求，调度器都会根据请求得相关信息加密得到一个指纹信息，并且将指纹信息和set()集合中的指纹信息进行比对，如果set()集合中已经存在这个数据，就不在将这个Request放入队列中。如果set()集合中没有存在这个加密后的数据，就将这个Request对象放入队列中，等待被调度。