什么是大数据，这里从技术层面说不应该是说什么是大数据,应该说什么是hadoop。
上图是hadoop常用的应用架构，初学者一看可能有点蒙，这么多，人都看晕了。下面用大数据的应用流程来说明下这些组件，看这些
组件是怎么结合起来实现大数据的技术应用。
以上图展示了平时的三种场景 全新数据采集、原有数据同步、运行时数据信息
一般业务流程
现在大多数爬虫都是用python和java
扫描二维码关注公众号，回复：
11556062 查看本文章
python 常用是 urllib 组件。
java 常用 WebCollector 组件。
将爬取的数据写入mongodb或hbase中。
从真实意义上来说mongodb并不属于hadoop体系中，但是从存储格式和使用上来说和hbase是一样的。hbase属于hadoop体系中的组件，底层是使用的hdfs分布式文件系统。
两种数据存储方式都可以通过和mapreduce spark 结合清洗或重组数据。
清洗完成数据以后放入solr或elasticsearch中提供给业务层调用。