你的大数据学习私房菜（IT小白从业篇）

2017-07-07 林邵智

IT路途
    毕业  在2009年，我对IT行业充满了激情，对前途充满了各种幻想，进入了一家软件开发公司，其实就是一家小公司。结果很悲催 ，一来没有什么技术深度，二来杂七杂八的事太多又没有人带，一切靠自己摸索，进步非常缓慢，靠学校学的编程语言，艰难的工作着，当时第一个项目还是给中国移动做的。


    在工作中，项目的生产环境都是在linux上，由于我需要进行项目部署。所以我又自学了Linux，现在看来当时真的是浪费了大量的时间，由于工作特别忙碌，自我分配的学习时间都是碎片化的，学习的不系统和无人指导的摸索，基本上进步很慢。


      2010年年底，我回学校跟教授聚了一下，他跟我说做技术除了脚踏实地的去打好基础，还得关注国内国外潮流的技术，可能就是下一个风口了。我很认真的思考了一下自己的前途，不由感到了茫然与悲哀，因为现在所学到的东西，在很多招聘网上太大众化，太没有竞争力了。老师推荐我多学习搜索引擎和推荐算法，考虑着自己当时在广州税前收入还不到8k的工资，我觉得是时候做出改变了，于是我开始学习搜索引擎和推荐算法等相关知识。我通过在网上查阅资料，建立自己的知识栈，看了大量书籍，为此每周末基本上都在宿舍学习，很少有社交活动。
                         

    但理想总会与现实产生差距，看了很多书，抓不到重点，另外技术这东西不是光看书就可以的，关键在实践，很多书籍所涉及实践部分不是泛泛地介绍，就是粘贴一堆不知道有用没用的代码，另外自己搭环境各种坑，与真实企业生产环境使用上差别太大，心里完全没谱，浪费了很多的时间。

有幸的是我底子还不错，另外通过老师的介绍也认识了一位在网易的师兄，我总是请师兄吃饭，向他请教问题。经过大半年的自我学习，加上有人指点，慢慢的有了感觉。那段时间进步非常快，每天就是工作学习，大量的做试验，让我感受到了从未有过的充实快感。当然过程是痛苦的，自学最怕的就是遇到问题没人指点，在这期间我也悟明白一个道理：“别人的一句话指点胜过自己一天的摸索”。


    直到2011年下半年，我顺利的通过了网易的面试，进入了当时国内一流的互联网公司——网易，并且在公司核心的部门从事推荐算法、数据分析等工作。当时负责的是门户上广告数据分析和挖掘，由于当时网易的数据分析架构，还无法实现大规模的数据处理和数据分析，大量的广告数据无法进行更好的数据清洗和数据挖掘，将数据进行充分利用。


        在一次偶然的机会，技术leader安排我去研究hadoop和大数据挖掘的相关技术，当时国内资料很少，都是fanqiang在国外进行学习，以及购买国外书籍。在不断的实验，不断的碰壁中，自己不断的总结和归纳。在团队的合作下，搭建了hadoop的大数据分析与挖掘架构体系，每天在巨量的数据中利用机器学习、数据挖掘等手段挖掘有意义的信息，成为了中国较早一批做大数据开发的工程师。慢慢的自己掌握的东西越来越核心，跟其他事业部的合作也越来越频繁，学到了更多的东西，薪资也提升了300%。


    网易除了门户还有其他业务，都是数据量巨大，特别是网易游戏事业部每天的流量数据已完全突破PB计算范畴，广告推荐系统，新闻推荐系统，游戏数据分析，相关搜索，自动检索等等都离不开大数据的支撑。在这几年里，我看到国内大数据的兴起，很多用java、php、python、C开发的人都开始往大数据转型。大数据方向俨然成为了业内炙手可热的职位，同时大数据也是未来5-10年的发展趋势。


    除了我所在的网易，国内崛起的3巨头BAT每天的数据数以亿计，流量数据已完全突破PB计算范畴，而数据背后的价值更是企业最为看重的，基于存储数据的挖掘与算法成为了企业里最重要的部门，淘宝的交易数据，百度的搜索数据，腾讯的社交数据，已经能够大数据分析出你的年龄，婚姻，收入，职业，爱好，社会阶层，家庭情况等等，或许这些公司比你朋友还更为了解你，你不要惊讶!


    而这些公司的大数据开发人员工资奇高，有些你都不敢想象，基本上都是以前做普通开发时的3-5倍，年薪20万算是入门水平。大数据已经渗透到了多个领域中去，除了互联网行业外，做量化、做通信，甚至做传统医学、法律等行业都开始搞“大数据”了，所以说市场对大数据人才的需求只会越来越大。

Desire
我发现

在大数据这个领域赚到年薪20万以上，非常容易，大概需要满足以下3个条件：
1，逻辑思维清晰，有编程基础
2，熟练并灵活运用hadoop进行大数据开发和数据挖掘
3，拥有大公司商业实战项目

    基于这3点，你出去面试任何一家大数据公司，基本可以拿到这个薪水，可能看到这里，有些人愤愤不平，惊叹自己做java 5年以上才拿到年薪20万，凭什么？


    只能说行业不同，薪水自然不同，我认识的有些做会计，教师都快20年了，薪水依然还没过万，而有些刚毕业的小孩，刚培训完hadoop大数据开发，薪水就10000起步。
 
  在做大数据开发之前，基本都学过编程语言，比如C，C++，java等，因为hadoop是高层次的语言开发，需要有编程基础，懂java或者python那就更好了，很快的就能上手。所以普通的转岗人员，或者说非计算机相关专业的大学生是很难进入到这个行业的，这个行业需要编程的底子，尤其是有经验的java或者python开发人员，那更是职业进阶的不二之选，当然，如果你懂其它开发也可以向这个行业发展，因为语言都是相通的，我也见过之前做perl开发的进入了网易公司。


       Hadoop目前非常火，大数据是趋势，是未来，所以一般这样的公司都是大公司，要求也相对比较高，（所以一般要求最低有本科学历），很多人在这之前都靠自学或者看视频，发现很难入门，尤其是抱着厚厚的一本《hadoop权威指南》更是难啃，出去面试更是很难通过，其实很简单的道理，因为Hadoop门槛高，而市面上熟练Hadoop并愿意分享的人又不多，所以相对成体系的知识就很匮乏了，不像php java发展的已经非常成熟了。所以熟练掌握Hadoop开发的工程师薪水都很可观，这个世界上简单的事情都不会有高薪，我一直认为有门槛的事情才是值得去追逐的事情。


    这个就更不用说了，简直就是你谈价的砝码，我公司有一个人跳槽去滴滴公司，滴滴直接开出了年薪80万再加期权，看中的是什么？就是他在我们公司积攒的商业项目经验，比如大数据分析你最佳的上车地点，分析最佳路劲所需时间等等，有了经验和方法，就能顺利在滴滴公司直接高效率的工作，节省了很多弯路，对一个公司来讲，最重要的是什么，就是避免跳进坑里，多走弯路，所以拥有大公司商业实战项目是你迈向年薪50万，80万的重要里程碑。

    这样的商业实战案例只有真正参与的才知道其中的重点和难点，书本上是根本学不到的，也没有人会愿意分享出来，第一，时间不够，第二，精力有限，第三，不是三言两语就能说清楚的，都是需要系统化的讲解。

       基本上掌握这些大公司商业案例的工程师薪水都可以提升好几倍，让你在面试中立刻脱颖而出，这些都是经验总结，都是花时间和金钱摸索出来的，很少有人愿意对外分享的。

    我之前有一个早期的学员，他没有任何开发经验，但是有计算机背景，之前在某机构做咨询老师，耳濡目染，硬是熏陶出来了，他学会了我讲的知识拿到了携程的offer，18k*15薪，不算其他福利，一年27万，所以项目经验是至关重要的。
 
点击上方QQ交流群「二维码」可快速加入我们      
欢迎加入本公众号公开兴趣群

智牛Hadoop社区扣扣群
兴趣范围包括：Hadoop、Java，Python，PHP等各种语言开发经验交流，各种框架使用，外包项目机会，学习、培训、跳槽等交流
智牛扣扣群：425304225

weixin搜索 “智牛Hadoop社区”关注 公众号
智牛Hadoop社区 ∣一个有逼格的IT社区
长按，识别二维码，加关注
智牛Hadoop社区 出品 | 原创精品 | 转载请注明出处