大数据介绍
大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。
针对以上主要的4个特征我们需要考虑以下问题：
-
数据来源广，该如何采集汇总？，对应出现了Sqoop，Cammel，Datax等工具。
-
数据采集之后，该如何存储？，对应出现了GFS，HDFS，TFS等分布式文件存储系统。
-
由于数据增长速度快，数据存储就必须可以水平扩展。
-
数据存储之后，该如何通过运算快速转化成一致的格式，该如何快速运算出自己想要的结果？
对应的MapReduce这样的分布式运算框架解决了这个问题；但是写MapReduce需要Java代码量很大，所以出现了Hive，Pig等将SQL转化成MapReduce的解析引擎；
普通的MapReduce处理数据只能一批一批地处理，时间延迟太长，为了实现每输入一条数据就能得到结果，于是出现了Storm/JStorm这样的低时延的流式计算框架；
但是如果同时需要批处理和流处理，按照如上就得搭两个集群，Hadoop集群（包括HDFS+MapReduce+Yarn）和Storm集群，不易于管理，所以出现了Spark这样的一站式的计算框架，既可以进行批处理，又可以进行流处理（实质上是微批处理）。
-
而后Lambda架构，Kappa架构的出现，又提供了一种业务处理的通用架构。
-
为了提高工作效率，加快运速度，出现了一些辅助工具：
- Ozzie，azkaban：定时任务调度的工具。
- Hue，Zepplin：图形化任务执行管理，结果查看工具。
- Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。
- Python语言：编写一些脚本时会用到。
- Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。
以上大致就把整个大数据生态里面用到的工具所解决的问题列举了一遍，知道了他们为什么而出现或者说出现是为了解决什么问题，进行学习的时候就有的放矢了。
大数据是未来的发展方向，正在挑战我们的分析能力及对世界的认知方式，因此，我们与时俱进，迎接变化，并不
断的成长!大数据学习群：868847735 一起讨论进步学习
一、大数据相关工作介绍
大数据方向的工作目前主要分为三个主要方向:
- 大数据工程师
- 数据分析师
- 大数据科学家
- 其他（数据挖掘等）
二、大数据工程师的技能要求
附上大数据工程师技能图：
大数据开发学习可以按照以下内容进行学习：
第一阶段：JavaSE+MySql+Linux
学习内容：Java 语言入门 → OOP 编程 → Java 常用Api、集合 → IO/NIO → Java 实
用技术 → Mysql 数据库 → 阶段项目实战 → Linux 基础 → shell 编程
学习目标：学习java语言，掌握java程序编写、面向对象程序开发，掌握MySql体系结构及核心编程技术，打好 Linux 基础，为后续学习提供良好的语言基础。
第二阶段：Hadoop 与生态系统
学习内容：Hadoop → MapReduce → Avro → Hive → HBase → Zookeeper →Flume → Kafka → Sqoop → Pig
学习目标：掌握大数据学习基石Hadoop、数据串行化系统与技术、数据的统计分析、分布式集群、流行的队列、数据迁移、大数据平台分析等
第三阶段：Storm 与Spark 及其生态圈
学习内容：Storm → Scala → Spark → Spark SQL → Spark Streaming →Spark 机器学习
学习目标：让大家拥有完整项目开发思路和架构设计，掌握从数据采集到实时计算到数据存储再到前台展示，所有工作一个人搞定！并可以从架构的层次站在架构师的角度去完成一个项目。
第四阶段：其他
学习内容：Mahout 机器学习→ R 语言→Python
学习目标：机器学习领域经典算法的实现，熟练使用 R语法和统计思维，可以基于具体问题建立数学模型，掌握python技术与数据分析，将数据结果以可视化的直观方式展示给目标用户。
第五阶段：项目实战、技术综合运用
学习内容：某手机公司bug 系统 → 传统广告怎么用大数据 → 类互联网电商网站 → 网站日志收集清洗系统 → 网站流量统计分析系统
学习目标：具备企业级大型完整项目开发能力，综合运用大数据分析知识，完成数据分析、收集、展示的完整流程。
大数据开发相比于数据分析和挖掘来说，对编程基础要高一些，对于零基础学员也会比较困难。然，有道是“有志者事竟成”，用心学习大数据开发，每个人都会有所收获。
