大数据时代,主要包含哪些挑战?

在信息化的建设过程中,众所周知,数据可以分为3种:结构化数据、半结构化数据和非结构化数据。其中,85%的数据属于企业业务过程中产生的文档等非结构化数据。

面对着海量的数据,人们不禁感叹,大数据时代已经到来,悲观者深为管理和维护而忧虑,乐观者则看到了大数据的大价值。何谓“大数据”,目前没有统一的定义。通常认为,它是海量的非结构化数据,其特点是数据量很大,数据的形式多样化。如何存储这些快速增长的、海量的数据?如何对大数据进行分析处理,挖掘出价值?

大数据时代的挑战与目标

大数据时代的挑战包括:如何实现高效、智能的大数据存储?非结构化数据正在呈海量增长趋势,如何对其进行有效的数据管理和应用?现有数据保护与文档归档机制能否应对日益增长的海量数据?如何攻克移动数据管理的难点问题?如何在复杂的数据环境下实现高效的数据安全?如此种种问题,逐渐成为了所有CIO的共同挑战。

但是我们发现,对于这些大数据的挑战,其实归纳起来就只有两个目标:

管理好大数据:从大数据的产生、存储、保护、归档到安全维护的各个角度,从根本上而言,这是IT管理维护的范畴,只不过数据量超出常规管理尺度后,对于管理维护的难度出现了跳跃式上升的态势;

使用好大数据:这是企业管理的最终目标,大数据即意味着大价值,数据与数据、数据与人、数据与业务的关联性。这个挑战既有流动性、关联性、智能的应用挑战,也有基于大数据深度挖掘的挑战。

但是,这两个目标之间也是不可分离、相辅相成的关系。管理和维护的目的是使用,使用的基础是好的管理维护。

云计算与大数据是时代的交集

为了解决大数据的挑战,人们自然而然地想起了云计算,云计算遭遇大数据,这是时代的发展必然趋势。云计算技术可以实现IT资源的自动化管理和配置,降低IT管理的复杂性,提高资源利用效率。对企业来说,云计算的主要形态是私有云,其主要的业务由私有云支撑,而非关键的业务或者突发性的业务可以采用公共云资源。私有云与公共云需要无缝连接,从而形成混合云的环境。

大数据意味着大资源,这是云计算与大数据的交集,其实也就是意味着,云计算与大数据的关系是两个方向,云计算可以承载大数据,大数据也是可以通过云计算架构和模型来提供解决方案。这样我们就可以清晰地知道,大数据在管理和应用的方向上,可以通过云计算的资源共享、高可扩展性、服务特性来搭建和运营。

大数据的大内涵

如果说大数据与云计算的交集是外部交集,那么大数据内部的关联、挖掘,则是大数据的大内涵,这个调整远远超过云计算的应用难度,数据与数据的复杂关系,比如跨应用系统的结构化数据与非结构化数据的关联;海量数据的存储以及数据在人之间的分享;数据(结构化与非结构化)与业务和决策间的关联。

要解决这个问题的一个思路是EMC提出的信息生命周期思想,但是在很多业界同行看来,这个思想在云计算和大数据时代需要真正的升华,而这个方向就是智能,不是单一和局部的,而是统一的智能。IBM提出了智慧的地球,作为国内崛起的新兴代表爱数则提出了智能数据管理解决方案,也是基于统一智能和信息生命周期思想的框架。

无疑,这是一种新的思路。据爱数相关负责人透露,这种统一的框架采用云计算体系结构,主要技术突破在资源池化和法规管理遵从,从数据生成阶段就将大数据纳入到生命周期管理中,通过统一的智能策略,既提供了很好的运维和保护,也能在使用和挖掘阶段与业务应用结合起来,提供统一的数据信息平台。

数据之道,智取未来

对于大数据时代,无论是企业还是厂商,策略、规划和思想是核心,与云计算一样,大数据的大内涵,需要有大思维和高规划。计算时代成就了Wintel为代表的一批厂商,那个时代的旋律是摩尔定律;网络互通时代正在成就包括GOOGLE、FACEBOOK、腾讯为代表的网络新贵,这个时代的主旋律是互通;大数据时代的到来,为更多的厂商带来了机会,而这个时代的主基调,无可厚非,智能必将当道。正所谓,数据之道,智取未来。

人工智能、大数据、云计算和物联网的未来发展值得重视,均为前沿产业,多智时代专注于人工智能和大数据的入门和科谱,在此为你推荐几篇优质好文:
1.在学习大数据之前,需要具备什么基础
http://www.duozhishidai.com/article-12916-1.html
2.大数据工程师培训,需要学习的有哪些课程?
http://www.duozhishidai.com/article-15081-1.html
3.大数据的特点是什么,大数据与Hadoop有什么关系?
http://www.duozhishidai.com/article-13276-1.html


多智时代-人工智能大数据学习入门网站|人工智能、大数据、物联网云计算的学习交流网站

多智时代-人工智能大数据学习入门网站|人工智能、大数据、云计算、物联网的学习服务的好平台

猜你喜欢

转载自blog.csdn.net/zhinengxuexi/article/details/89376507