我是怎样学习Hadoop的

转载自微信公众号hadoop123
通过昨天的初步统计,“Hadoop学习方法”、“Hadoop应用案例”和“Hadoop前景”三个方面最受大家关注。在今后的几篇文章中,我将重点介绍这几方面的内容。

今天简单介绍一下我是如何学习hadoop的。注意,以下仅是个人经验之谈,大家可借鉴学习,也可以一笑置之。

我研二开始接触hadoop,第一个hadoop项目是与华为合作的“商用hadoop原型”,该项目的目标是完善hadoop内核,使其能够直接商用,比如能够打包到华为hadoop发行版中。该项目主要有三部分组成,分别是NameNode HA、完善作业调度器和优化MapReduce执行效率,每部分由两个人完成,我参与的是完善作业调度器,该部分要求为MapReduce调度器增加以下两个功能:(1)支持层级队列组织方式,并实现层级资源共享(2)支持deadline作业调度。该项目要求每位参与者阅读hadoop源代码,并修改对应的代码以实现对应的功能。我对MapReduce的最初理解就是从这一个项目开始的,在实际项目中学习,并结对搭伙,在讨论中完善对MapReduce的认识。

另外介绍一个研究生期间与某公司的合作项目,主要任务也是完善Hadoop作业调度器,这是基于真实应用场景的项目,开发完毕后要部署到500个节点上进行验证。在该项目中,由于存在真实场景的驱动,这样可通过不断对算法进行改进和优化,加深对MapReduce的认识。

通过以上两个经历,我总结出学习hadoop需具备两个基本条件,一是真实需求驱动,在驱动力作用下才能快速学习;二是多多参与讨论,相互学习相互吸收,这样才可能朝深的方向发展。

这两个条件貌似很多人都知道,但很多人抱怨自己目前的条件无法满足,比如有人抱怨说“我现在的项目用不到hadoop,我是业余学的”,“我们公司只有我一个人搞hadoop,没人讨论”,对于这样的抱怨,我的回复是,你当前的工作或者职位是自己选择的,你想朝着某个方面发展,总得选择一个对应的环境吧,古时有“孟母三迁”,现在你为何不能为自己的前途“迁”一下。

除了以上两个条件,个人觉得学习hadoop这种信息量大、且处于不断发展的技术时,还需要善于总结和积累,一种很好的方式是定期梳理自己所学所做所想,比如定期写博客,这不仅有利于下一步的深入学习,也可以作为自己的技术发展痕迹,将会成为你的美好技术回忆。

除了以上三个条件外,还有一个很重要的学习方式是推销自己。每个人都是一个“产品”,虽没有好坏之分,但对外呈现的有好有差,这关键在于自我的推销。在社交网络和自媒体时代,推销的方式变得简单且低成本,你可以在微博中积极参与一个牛人发起的技术讨论,也可以主动参与一个会议或者技术交流会,向几十个听众讲解某种技术或者自己的技术感悟等等,这种细小的行为都是在推销自己,或者说提升自己的影响力,这样久而久之,你将会在别人质疑中提高,同时也拓展了技术关系圈。你可以这样想象,如果将来某一天出现一个被大众普遍接受的“寻人搜索”,当搜索你所在领域的名称时,你的名字能否出现在搜索排名较靠前的位置,如果你觉得自己目前还不能,那就赶快在各种社交网络、朋友圈等地方留下技术的痕迹吧。

总结今天所写的这些文字,我觉得学习hadoop要努力做到四点:需求驱动、参与讨论、总结积累和推销自己。

猜你喜欢

转载自blog.csdn.net/hahaEverybody/article/details/97407293