大数据技术原理与应用:【第一讲】大数据概论

1.1大数据时代

第一次浪潮:1980前后,个人计算机,诞生公司:IBM

第二次浪潮:1995前后,互联网普及

第三次浪潮:物联网、云计算、大数据

导致大数据时代到来

因素:

技术支撑:

1.存储:存储设备容量不断增加(个人数据不断增加、企业数据越来越多)

2.计算:CPU处理能力大幅提升

3.网络:网络带宽不断增加

经历三个阶段: 

第一阶段:运营式系统阶段

第二阶段:用户原创内容阶段

第三阶段:感知式系统阶段(物联网的大规模普及)

大数据发展历程:

1.2 大数据概念和影响

特性:4V

 1.数据量大:

大数据摩尔定律:每年多增长50%

2.多样化:

结构化数据与非结构化数据

3.快速化:

处理速度非常快;很多企业级应用都需要秒级决策

4.价值密度低:

大数据的影响:

1.第四种范式

第一种:实验

第二种:理论

第三种:计算

第四种:数据

2.在思维方式方面,颠覆传统的思维方式

1)全样而非抽样

2)效率而非精确(在第1个基础上)

3)相关而非因果

1.3 大数据的应用

影视剧的投拍:大数据分析软件

谷歌预测流感:实时掌握公民搜索相关信息

1.4 大数据的关键技术

五个层面:数据采集、(核心)数据存储与管理、数据处理与分析、数据隐私与安全

两大核心:分布式存储、分布式处理

分布式存储:Google公司为代表

大数据的计算模式:

不同的计算模式需要使用不同的产品

1.批处理计算:(实时性不够好)

代表产品:MapReduce,Spark

2.流计算:

实时处理、实时响应

3.图计算:

高效处理图结构的数据

4.查询分析计算(交互式查询):

代表:Hive等

1.5 大数据与云计算、物联网

云计算:

1.云计算解决问题:

两大核心:分布式存储、分布式处理

2.典型特征:

虚拟化、多用户

3.概念:

通过网络以服务的方式为用户提供非常廉价的IT资源

4.优势:

企业不需要自建IT基础设施,可以租用云端资源

5.三种模式:公有云、混合云、私有云

公有云:面向所有用户

私有云:面向企业内部

混合云:部分给自己、部分给外面

6.三种云服务:

1.IaaS:基础设施即服务

将基础设施作为服务出租

2.PaaS:平台即服务

 用提供的平台资源开发、部署软件

3.SaaS:软件即服务

典型案例:云财务软件

7.云计算关键技术:

1.多租户

2.虚拟化:虚拟机、虚拟专用网(VPN)

3.分布式存储

4.分布式计算

8.云计算数据中心

数据中心包含有大量刀片服务器

 

数据中心建设位置:

地质构造稳定、天气凉爽

慕课链接:https://www.icourse163.org/learn/XMU-1002335004?tid=1003965001#/learn/announce

猜你喜欢

转载自www.cnblogs.com/musecho/p/10991125.html