（欢迎对爬虫技术和大数据挖掘感兴趣朋友加我qq：2779571288）
破解天某查爬虫，如何解决采集数据IP被封的问题？
我4个月前用python开发了一套天某查分布式爬虫系统，实现对天某查网站的数据进行实时更新采集。网站的数据模块，数据存储结构和他一样，当时的想法是做一个和天眼查一模一样的数据服务平台，然后数据源就通过我的爬虫技术从天某查、启某宝实时、企某查同步采集。采集天某查数据需要做的工作准备：
1、首先分析目标网站数据模块：
在采用python3写爬虫程序开始爬天某查的数据时候，首先需要我先分析这个网站有那些数据模块，整个网站有主要核心数据有以下19大模块：1基本信息、2法人代表、3主要成员、4股东&出资、5变更记录、6公司年报、7司法风险、8舆情事件、9岗位招聘、10商品信息、11网站备案、12商标数据、13专利数据,、14 作品著作权软件著作权、对外投资关系、税务评级、行政处罚、进出口信用、企业评级信用等十九个维度的企业数据
2、写一个爬虫demo模型分析网站的页面结构和代码结构
我们模拟http请求到天某查目标网站，看看天某查响应的的数据信息是什么样子？
当我们正常访问的时候是可以很轻松得到列表的数据以及进入列表的详细链接，我们在通过链接采集得到每个企业的详细的数据包。
3 采集速度太频繁了，会被封IP问题 怎么解决
当我们发出去的http请求到天某查网站的时候，正常情况下返回200状态，说明请求合法被接受，而且会看到返回的数据，但是天眼查有自己的一套反爬机制算法，如果检查到同一个IP来不断的采集他网站的数据，那么他会被这个IP列入异常黑名单，您再去采集它网站数据的时候，那么就永远被拦截了。怎么解决这个问题呢，其实很简单，没有错用代理IP去访问，每一次请求的时候都采用代理IP方式去请求，而且这个代理IP是随机变动的，每次请求都不同，所以用这个代理IP技术解决了被封的问题。
4 天某查2个亿的数据量怎么存储？需要多少的代理IP
我在写爬虫去爬天某查的时候，刚开始使用网上的免费或者收费的代理IP，结果90%都被封号，所以建议大家以后采集这种大数据量网站的时候 不要使用网上免费的或者那种收费的IP，因为这种ip几秒钟就会过期，意思就是你没有采集网或者刚刚访问到数据的时候，这个IP就过期了导致你无法采集成功，所以最后我自己搭建了自己的代理池解决了2个亿天眼查数据的采集封IP问题。
5 天某查网站数据几个亿数据的存储
数据库设计很重要，几个亿的数据存储 数据库设计很重要
我当时花了10天时间把天某查爬虫系统全部开发完毕，可以每天爬去百万条数据，19个维度的数据，数据爬下来后主要是数据的存储和管理，数据库的我采用了mongdb，爬虫开发技术我采用了python，几个亿的数据后台管理系统我采用php，我自己架构了分布式架构系统，所以我采集的我采用分布式+多线程+集群的方式，采集速度相当的快！
6 字体库加密破解
字体库加密，是最新的一种反爬技术，几个做企业信息搜索的网站都在采用字体库加密的方式进行反爬，来实现保护自己的网站数据不被网络爬虫采集到，这种技术的原理很简单，借用浏览器的解析和渲染，让你用浏览器看到的内容和查看元素看到的内容是不同的，利用字体库加密码技术进行混淆渲染，实现爬虫爬到的是脏数据而不是真实数据的目的，比如天眼查的 公司介绍字段就引用了字体库加密技术，然后这种技术有一定的算法规则，只要您认真分析规律自然就轻松破解了！
（欢迎对爬虫技术和大数据挖掘感兴趣朋友加我qq：2779571288）