一个菜鸟眼中的大数据(1)

现在这个时代大数据是一个非常火的话题,作为一个计算机的菜鸟,虽然现在是个研究僧,但是没有接触过真正公司的大数据的计算,所有关于大数据的东西都是从网上和自己的研究来得到的,自己没有切身的体会,现在谈谈自己的认识

开始我一直以为大数据都是IT行业的事情,和平常人的关系不大,但是13年底我到南京去玩,在南京博物馆外边的公交站等车的时候,居然在广告牌上发现了大数据这个词,而且还是一个娱乐公司提供的大数据,具体提供什么服务忘记了,但是可见大数据已经走入到我们的生活。


在研究生阶段我研究的其实就是大数据平台下大数据的处理,但是对于大数据的难点或者大数据的特点都没有很强烈的概念,有这么几个概念困扰着我,只有简单的认知,不是很正确,现在还在努力认识。

什么是大数据?

为什么要有大数据,有什么用?

要怎么利用大数据?

对于我们每个人来说,大数据的意义到底在哪里


我们生活在一个奇特的时代,这个时代是一个信息爆炸的时代,所有的行业都在快速的发展,而这其中最重要的变化体现在各个行业的信息化。计算机办公,车间生产,购物,设计等等,人类的衣食住行已经完全离不开计算机,尤其是智能手机的发展,给所有为个人服务的行业带来了革命。每个人都有一个微型的电脑不再是一个梦想,这个智能手机的处理已经超过了第一代计算机很多很多倍了。这么多的电子设备每时每刻都在产生着数据,这些数据是让其随着时间的流逝而消失呢,还是保存起来,来挖掘它的价值呢。


        现在来看一个大数据的例子,从一个人购买物品的习惯就可以得到很多的信息,比如对于一个普通人来说,衣服,电子产品这些可以分析出这个人的兴趣爱好,比如说他一直买游泳的设备,那么这个人应该是个游泳的爱好者,这样的话,我就可以根据用户的购买记录推荐一些这个用户可能会用到的游泳的器材,还可以把海边的一些旅游商品推荐给这个用户。如果再仔细分析,知道这个用户的常用地址,那么就可以推荐这个用户周边的游泳景点给用户,或者在有去海滩的打折机票的时候,推荐给这个用户。喜欢去海边的人,一般都喜欢吃海鲜,这样的话,这个用户周边的海鲜餐馆都可以推荐给这个用户。这些数据都是有价值的,这些东西的价值就在于提供更优质的服务。

比如说,一个母亲,在孩子出生后,会买很多婴幼儿的产品,随着孩子的长大,所需要的产品都是不同的,可以根据用户现有的购买行为来推测说孩子现在正处于的阶段,这样就可以推荐给更人性化的东西给这个用户。还有比如这个母亲在几年后,突然再次购买很多婴幼儿的产品,可能是这个母亲有新的孩子,这个母亲以前购买的习惯应该没有什么改变,以前的一些品牌的商品可能还是这个母亲所钟爱的,但是这些品牌的产品可能已经更新或者有新品推出,这样的话,做个性化营销,不仅仅为公司提供了广告的效益,也减少了广告的支出。预测孩子长大的历程,比如说孩子的课本,补习课程,这些都可以从以前的数据得到,来给用户做更好的推荐。大数据时代,就是为了给人类更好的服务,而我坚信技术可以改善人的生活


        关于技术改变生活,让我感受最大的是搜狗输入法,当我开始接触电脑的时候,还是智能ABC输入法,即使是要输入我的名字,都需要花费不少的时间去寻找这些字。当时有一种高级的方式叫做五笔,如果仔细留意,老一辈的程序员还是喜欢用五笔的,当时要去记忆字根,很麻烦,我还能去记一下,让我老爸他们去记字根,还是算了吧。所以老爸他们想玩玩聊天软件都很难。但是搜狗输入法出来之后,智能输入法,可能记录每个用户的输入习惯,导入不同的行业专门的词库,还有不断更新网络词库,让每个人打字快速起来。这个是我在成都去参加面试的时候,听一个出租车司机说的,那个瞬间我才知道搜狗影响了最普通的人,那个司机告诉以前打字很麻烦,所以很少打字,我老爸就是这样,从来不打字,如果有事就是打电话,他也想,但是就是不会,好难的。那个司机很热情的给我介绍搜狗输入法怎么好,只要打wzd,三个字母,我知道就出来了,还能记录以前自己选择东西。其实这个有很大的意义,打字方便了,人们才会发更多的信息到网上,才会有社交媒体的盛行,还有各种博客,网络的内容才会爆炸性的增加,如果是简单的打字都不能满足的话,那么这会将很多人挡在互联网的外边

从那之后,我一直想做一款可以影响或者改善人们生活的软件。帮助别人的同时也是帮助了自己,做用户需要的东西,这就是公司的经营之道。其实搜狗输入法其实就是一个大数据的剪影。输入法只需要记录这个人的打字习惯,就可以很好的帮助用户去输入了。但是想记录一个人的方方面面去进行个性化的人性化的服务,这个人的数据量是非常大。输入法的逻辑也很简单,但是如果利用数据去分析人的行为,这个就很难了,这就是我心中的大数据

大数据本质上是为了帮助人解决问题而产生的,人们有这个需求,才会有这个行业的出现。大数据帮助人们发现人们生活中的不便,通过技术改善生活就是从此开始的。有些地方人们抱怨打车难,出租车司机抱怨没人打车,这就是信息的不对等造成的,数据的分析可以帮助出租车分析热点,更好的拉车,还有快的和滴滴这样的打车软件,这些都在慢慢改善人的生活


以下是我喜欢的领域和我在这个领域的学习经和学习规划

        我最热爱和擅长的专业领域是数据分析,在大学期间开始接触数据库,从SQL Sever开始接触到数据的世界,开始以为数据库就是整个数据的世界,因为关系型数据库在整个IT行业非常的成功,后来进入研究生阶段,当时大数据已经提出来很久了,但是不是很熟悉,在研究生阶段跟着老师研究大数据平台下多维数据的查询和检索的课题,而我的研究方向就是在MapReduce平台下多维数据的连接,在此时开始接触更广阔的数据世界,原来我们身边所有的行为都在产生着数据,而这些数据是是无法用关系型数据库来保存的,我们世界更精彩,产生的数据更复杂,而在这些数据中更多的是无用的价值,而我们现在做的东西就是要尽最大可能的发现数据中存在的价值。在研究生阶段,研究和使用Hadoop平台,理解并且优化在此平台上多维数据的连接的问题。Hadoop平台不是唯一的大数据处理的平台,但是是最流行的,通过学习理解,优化,理解数据的处理方式原来还可以这样。同时通过阅读大量的论文,了解了世界各地的研究员在MapReduce平台上的优化还有对Join的研究,加深了对此问题的认识
我未来的学习规划, 我一直技术可以改善生活,我希望自己的做的东西可以帮助人们更好的生活,而数据就是其中一种最方便的最直接的途径。不管是阿里还是腾讯,还是用户上网的记录,还有各种公司的记录,数据每时每刻都在产生,如果可以好好的利用这些数据,就可以优化整个社会的结构,帮助社会的弱势群体,节约资源。但是我知道我现在了解的很少,我的未来的学习规划,是第一年希望了解工业界是如何使用和分析数据的情况,第二年,加深了解,自己可以熟悉行业内的规则,找到自己感兴趣的方向。第三年,希望自己可以在自己感兴趣的方向有一定的创新,做出一些可以既可以为公司创造利润,又可以服务大众的产品。



猜你喜欢

转载自blog.csdn.net/wjcquking/article/details/44873681