前述：
从事了php开发5年，python也3年的项目开发经验了，之前一直搞php开发，最近2年， 随着互联网大数据和人工智能的发展，我们都知道未来最大的趋势就是,大数据和人工智能了，python在人工智能和大数据挖掘领域越来月火了，去年负责一个类似天眼查、启信宝的企业数据爬虫平台研发，刚开始采用php的curl处理，发现性能太慢，一天都采集不了100万数据，最后我改用python来写了破解天眼查，一天可以跑上百万的企业数据，几乎整个天眼查的数据 不用就一模一样的采集下来.
天眼查-大数据量的爬虫工作经验：
刚开始爬天眼查，容易被封IP，然后采集太频繁了就会302和200拦截！刚开始数据库我们才用mysql，数据达到几千万时候就卡主了，非常慢，最后我更换了目前最主流的非结构化数据库mongdb，爬虫开发语言更改为python，采集了分布式多现成+reids代理池IP缓存+monddb数据库+php后台管理数据管理与分析等！解决了IP封号，数据量采集不完整，采集速度慢的问题，现在一天几百万天眼查数据 完完整整的采集下来很轻松。20几个模块维度的企业数据 和图片都可以完整一样的结构采集下了，需要交流爬虫技术朋友可以qq我：2779571288