反爬虫一些问题

1.数据源是什么(数据从哪来)

  数据,我是通过用户的点击生成的这些行为数据而分析的,用户点击了什么,点击了公司网站,(公司可能是搞高旅游或者是售票之类的),

2.分析了哪些模块以及对应的需求

  模块这么描述:订单方面的分析,用户方面的分析,商品方面的分析,地址方面的分析,然后就说自己做过哪个模块以及对应的需求

3.基于这些需求的分析,结果的导向是什么

  最终的目的,通过反爬虫把极其像爬虫的ip过滤出来添加到黑名单,基于这些黑名单来做爬虫的过滤,当黑名单中的爬虫再次请求过来,给它响应一个其它页面,就不会对网站产生影响

  结果导向:大量爬虫会增加网络流量,增加网站压力,不断的请求导致统计结果有偏差,把爬虫过滤掉,最终分析出该项目推广的力度怎么样,用户对此网站的粘度如何,

  

猜你喜欢

转载自www.cnblogs.com/zqfdgzrc/p/12701783.html