大数据时代已经到来，它俨然成为了企业的战略资源，成为了提高竞争力的关键要素。为此，各个行业都开始用数据指导决策，从微信朋友圈、淘宝京东等电商APP的商品推荐 ，今日头条、抖音快手等媒体的新闻和视频推送，甚至到出行路线优化，这背后，都严重依赖于以数据为基础的决策结果。
随着大数据的爆发，中国IT业内环境也将面临新一轮的洗牌，不仅是企业，更是从业人员转型可遇而不可求的机遇。
看下图，在未来技术方向的调查中，最看好的是大数据、人工智能、移动开发、云计算，这几项不分伯仲，是技术人员的最看好的方向。中国大数据技术还处于萌芽状态，因此，现在正是学习大数据技术的最佳时期。
现在的业内，经常在我们耳边回响的就是：
看人家XXX，转行做了大数据之后薪资一下子翻了几倍；
看人家XXX，转行做了大数据之后度过了中年危机还做了管理层；
看人家XXX，转行做了大数据之后竟然被妹子倒追......
▌先来了解一下大数据是？
大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。
针对以上主要的4个特征我们需要考虑以下问题：
数据来源广，该如何采集汇总？对应出现了Sqoop，Cammel，Datax等工具。
数据采集之后，该如何存储？对应出现了GFS，HDFS，TFS等分布式文件存储系统。
由于数据增长速度快，数据存储就必须可以水平扩展。
数据存储之后，该如何通过运算快速转化成一致的格式，该如何快速运算出自己想要的结果？
对应的MapReduce这样的分布式运算框架解决了这个问题；但是写MapReduce需要Java代码量很大，所以出现了Hive，Pig等将SQL转化成MapReduce的解析引擎；
普通的MapReduce处理数据只能一批一批地处理，时间延迟太长，为了实现每输入一条数据就能得到结果，于是出现了Storm/JStorm这样的低时延的流式计算框架；
但是如果同时需要批处理和流处理，按照如上就得搭两个集群，Hadoop集群（包括HDFS+MapReduce+Yarn）和Storm集群，不易于管理，所以出现了Spark这样的一站式的计算框架，既可以进行批处理，又可以进行流处理（实质上是微批处理）。
而后Lambda架构，Kappa架构的出现，又提供了一种业务处理的通用架构。
为了提高工作效率，加快运速度，出现了一些辅助工具：
Ozzie，azkaban：定时任务调度的工具。
Hue，Zepplin：图形化任务执行管理，结果查看工具。
Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。
Python语言：编写一些脚本时会用到。
Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。
以上大致就把整个大数据生态里面用到的工具所解决的问题列举了一遍，知道了他们为什么而出现或者说出现是为了解决什么问题，进行学习的时候就有的放矢了。
▌大数据工程师的技能要求有哪些？
划重点：通过系统实训成为一名起薪保底6K的大数据工程师。。在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：957205962，即可免费领取套系统的大数据学习教程
用阿里巴巴集团研究员薛贵荣的话来说，大数据工程师就是一群“玩数据”的人，玩出数据的商业价值，让数据变成生产力。大数据和传统数据的最大区别在于，它是在线的、实时的，规模海量且形式不规整，无章法可循，因此“会玩”这些数据的人就很重要。沈志勇认为如果把大数据想象成一座不停累积的矿山，那么大数据工程师的工作就是，“第一步，定位并抽取信息所在的数据集，相当于探矿和采矿。第二步，把它变成直接可以做判断的信息，相当于冶炼。最后是应用，把数据可视化等。”因此分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向，他们帮助企业做出更好的商业决策。
附上大数据工程师技能图：
必须掌握的技能11条：
Java高级(虚拟机、并发)
Linux 基本操作
Hadoop（HDFS+MapReduce+Yarn ）
HBase（JavaAPI操作+Phoenix ）
Hive(Hql基本操作和原理理解）
Kafka
Storm/JStorm
Scala
Python
Spark（Core+sparksql+Spark streaming）
辅助小工具（Sqoop/Flume/Oozie/Hue等）
高阶技能：
机器学习算法以及mahout库加MLlib
R语言
Lambda 架构
Kappa架构
Kylin
Alluxio
▌大数据开发工程师待遇如何？
大数据开发工程师作为IT类职业中的“大熊猫”，大数据工程师的待遇是非常高的，在这个领域再次给我们展示了“物以稀为贵“的道理。在国内IT、通讯、行业招聘中，有10%的招聘岗位都是和大数据相关的，且比例还在不断的上升。
在美国，大数据工程师平均每年薪酬高达17.5万美元，而在国内，顶尖的互联网类公司，相比于其他岗同等级别的岗位，大数据工程师的薪酬大约要比其他职位高20%至30%，而且很受企业的重视。
看了那些动则年薪百万的报道，内心有木有充满期待呢？
但是对于基础相对薄弱的你我来说，看了需要掌握的技能后，说心里话，无论从专业还是学习时间上都是有难度的，那么作为有心成为大数据工程师的我们，该如何实现呢？