云计算
产生背景(云计算的驱动力)
- 技术驱动(
- 需求驱动(海量的数据信息给现阶段设备带来巨大的压力,云计算技术可以降低成本
- 商业模式转变(
- 其他方面,海量的数据及信息、各种各样的终端设备也促使着现阶段技术的变革。
云计算的概念
-
商业视角:云计算==信息电厂(大家都可以按需使用付费)
-
技术视角:云计算==计算、存储的网络
-
狭义:IT基础设施的交付和使用模式,通过按需,易扩展的方式获得所需的资源。包括基础架构,平台,软件。
-
广义:通过网络以按需,易扩展的方式获得所需服务,这种服务可以是IT和软件,互联网相关的,也可以是其他任意的服务,比如政务云,教育云,医疗云等,,,
云计算部署模式
- 私有云
- 公有云
- 混合云
私有云和公有云通过企业防火墙隔离,保证信息的安全
云计算的应用模式
云计算的价值体现
-
智能资源调度:
1:业务可以实现基于策略的资源调度以实现负载均衡;
2:通过热迁移实现节能减排。 -
提高资源的利用率
1:资源共享;
2:分时共享。(不同业务有不同高峰期) -
分布式的计算存储
-
统一管理
-
业务快速部署
虚拟化
概念
虚拟化前后最大的区别就是物理机上可以同时运行多个虚拟机,而且还有虚拟机监控器。
通过这个虚拟机监控器的模拟,虚拟机在上层软件看起来就像一个真实的机器。虚拟机是将物理资源池化了,多个虚拟机直接从资源池中获取资源与硬件解耦合。
虚拟化的主要内容
- 计算虚拟化:CPU虚拟化、内存虚拟化、VO虚拟化
- 存储虚拟化:裸设备+逻辑卷、存储设备虚拟化、主机虚拟化+文件系统
- 网络虚拟化:VPN、VLAN。
虚拟化的本质
- 分区(在单一物理服务器上可以同时使用多个虚拟机,按需使用硬件资源池中的资源)
- 隔离(每个虚拟机之间都是隔离的,虚拟机之间互不影响)
- 封装(整个虚拟机的执行文件封装在独立的执行环境中,可以通过移动复制这些文件来移动和复制该虚拟机)
- 独立(相对于硬件独立,虚拟机无需任何修改,可在任何服务器上使用,实现虚拟机的热迁移)
OpenStack
- openstack是一对大大小小项目的统称
Openstack架构
keystone组件 - 身份服务,提供身份验证、服务规则和服务令牌功能
- 管理用户,住户,角色,服务和服务端点
- 可以支持SQL,PAM,LDAP作为后盾
- 任何服务之间相互调用,都需要经过Keystone的身份验证
NOVA组件 - 计算服务——计算节点,运行虚拟机的hypervisor
- 分布式控制器——负责处理器调度策略及AP调用等。
GLANCE - 为NOVA提供镜像服务
- 通常不负责镜像的本地存储
- 实现对镜像的管理(快照、备份、镜像模块额管理。。)
- 镜像格式:raw,qcow,vhd,vmdk,iso
- 后端存储,Swift,Filesystem,AmazonS3
SWIFT
- 高可用分布式对象存储服务
- 提供存储数据的易用服务
- 适用于互联网场景下非结构数据的存储
- 为NOVA组件提供虚拟机镜像存储
NETWORKING Neutron - 提供网络服务的核心组件
- 基于软件定义网络的思想
- 提供支持/试下SDN框架
- 基于插件的模型
CINDER
- 块存储服务(卷服务)|为虚拟机实例提供volume卷的块存储服务
- 一个volume可以同时挂载到多个实例上
- 共享的卷同时只能被一个实例进行写操作
- 持久化磁盘
- 基于插件的架构便于扩展
- 支持的文件系统类型:LVM/ISCSI,NFS,NetAPP NFS, Gluster,DELL Equall Logic
HORIZON
- 仪表板
- 自服务界面
- 基于云管理功能
CEILOMETER
- 提供openstack平台组件的监控
- 计量服务,为流量计费提供数据支撑
Heat
- OpenStack核心项目之一
- 提供基于模板的编排服务
Docker技术
- Docker?
- 容器管理
- linux中,容器技术,进程隔离技术
容器迅猛发展的背景:
- 应用架构正在发生变革——微服务化
- 基础架构系统也在发生变革——虚拟化、混合云
- 面临越来越多的应用数量和种类越来越多的底层环境,容器技术可以完美的将应用的各种组件封装起来,应用开发以后呢,一次封装,多次部署,随时迁移,完全不需要关注底层环境,可以更好实现一些东西。
- 容器是一种比虚拟机更加轻量级的技术
Docker优势
Docker容器状态:
Docker镜像:
Docker仓库
- 容器一旦关闭,他的修改信息就会丢失
- 对于有状态的应用来说难以接受
- 通过挂在文件目录或者是存储来解决
Docker平台对比:
Docker平台架构
大数据
大数据的其前世今生
大数据的定义:
- 数据可以分为结构化和非结构化数据
- 结构化数据指可以存在数据库里的,可以用二维表结构来逻辑表达实现的数据
- 非结构化数据是指不方便用数据库二位逻辑表来表示的数据包括:所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频、视频信息等等
- 半结构化数据,结余两者之间,HTML就是
大数据的价值
- 海量数据存储
- 盘活归档数据
- 潜力分析
- 高清制播
- 对于企业,大数据在竞争能力、决策即使、成本控制等领域有广泛的应用前景
- 对于事业组织,在科学探索、知识、社会安全等领域也有强烈需求
大数据的特征
大数据带来的挑战
1;传统网路架构不适应“大数据”时代,从垂直访问到水平访问。
2;数据中心面临巨大压力,同时访问子系统压力大。
3;数据仓库架构不适应高速反应的要求,非结构化数据无法处理。
解决方案
云计算技术
大数据与云计算的关系
大数据对运营商的作用