文章目录
数据仓库理论介绍：
数据仓库是一个面向主题的，集成的，非易失的且随时间变化的数据集合
一：数据仓库的四大特点：
1）：面向主题：
- 主题（Subject） 是在较高层次上企业信息系统中的数据进行综合，归类和分析利用的一个抽象概念。
- 每一个主题基本对应一个宏观的分析领域
- 它是对应企业中某一宏观分析领域所涉及的分析对象
提取主题：
- 一个面向事务处理的商场数据库系统，其数据模式：
采购子系统：- 订单
- 订单细则
- 供应商
销售子系统：- 顾客`
- 销售
库存管理子系统：- 领料单
- 进料单
- 库存
- 库房
人事管理子系统：- 员工
- 部门
2）：集成
- 集成性是指数据仓库中数据必须是一致的
- 数据仓库的数据是从原有的分散的多个数据库，数据文件和数据段中抽取来的
- 数据来源可能既有内部数据又有外部数据
- 集成方法
- 统一：消除不一致的现象
- 综合：对原有数据进行综合和计算
3）：非易失
- 数据仓库中的数据是经过抽取而形成的分析型数据
- 不具有原始性
- 主要供企业决策分析之用
- 执行的主要是查询操作，一般情况下不执行更新操作
- 一个稳定的数据环境也有利于数据分析操作和决策的制订
4）：随时间变化
- 数据仓库以维的形式对数据进行组织，时间维是数据仓库很重要的一个维度
- 不断增加新的数据内容
- 不断删去旧的数据内容
- 更新与时间有关的综合数据
二：数据仓库和数据库的区别
| 数据库 | 数据仓库 | |
|---|---|---|
| 本质 | 数据的集合 | 数据的集合 |
| 定位 | 事务处理OLTP | 数据分析OLAP |
| 面向群体 | 前端用户 | 管理人员 |
| 操作 | 增删改查 | 查询 |
| 数据粒度 | 事件记录 | 维度 |
| 表结构 | 3NF | 星型、雪花 |
三：OLTP和OLAP的区别：
- 联机事务处理OLTP
- On-line Transaction Processing
- OLTP是传统的关系型数据库的主要应用
| 对比属性 | OLTP | OLAP |
|---|---|---|
| 读特性 | 每次查询只返回少量记录 | 对大量记录进行汇总 |
| 写特性 | 随机、低延时写入用户的输入 | 批量导入 |
| 使用场景 | 用户，Java EE项目 | 内部分析师，为决策提供支持 |
| 数据表征 | 最新数据状态 | 随时间变化的历史状态 |
| 数据规模 | GB | TB到PB |
四：有哪些数据仓库架构？
lnmon架构–范式建模：
ER建模：
lnmon提出–
从全企业的高度设计的一个3NF模型
Inmon模型将模型划分为三个层次：
- ERD–Entity Relationship Diagram 实体关系图层
- DIS–Data Item Set 数据项集层
- PM–Physical Model 物理模型
Data Vault建模：
Dan Linstedt提出–
ER模型的衍生，为了实现数据的整合
强调可审计的基础数据层
基于主题将企业数据结构化组织
Data Vault组成：
- Hub：企业的核心业务实体
- Link：代表Hub之间的关系
- Satellite：是Hub的详细描述内容
Anchor建模：
Lars.Ronnback提出–
一个高度可扩展的模型，核心是所有的扩展知识添加而不是修改。
模型规范升级成6NF，变成K-V结构化模型
Anchor模型组成：
- Anchors：代表业务实体，且只有主键
- Attributes：类似Satellite，更规范，全部K-V化
- Ties：Anchors之间的关系，类似Link
- Knots：代表可能在多个Anchors中公用的属性的提炼
Kimball架构–维度建模：
Kimball提出–
是一种自上而下的建模方式，从分析决策的需求出发构建模型，关注如何更快速的完成需求分析，
维度建模数据仓库模型构建过程：
选择业务流程
- 确认哪些业务处理流程是数据仓库应该覆盖的
- 记录方式
- 纯文本
- 使用业务流程建模标注（BPMN）方法
- 使用同一建模语言（UML）
声明粒度
- 确定事实中表示的是什么
- 选择维度和事实前必须声明粒度
- 建议从原始粒度数据开始涉及
- 不同的事实可以有不同的粒度
确认维度
- 说明事实表的数据从哪里采集来的
- 典型的维度都是名词
- 维度表存储了某一维度的所有相关数据
确认事实
- 识别数字化的度量，构成事实表的记录
- 和系统的业务用户密切相关
- 大部分事实表的度量都是数字类型
混合型架构：
现在我在的公司主流使用Kimball的维度建模方式，两种架构各有优缺点，根据不同需求使用不同的架构完成。
数据仓库的解决方案：
数据采集
- flume，sqoop，logstash，datax
数据存储
- mysql，hdfs，hbase，redis，mongoDB
数据计算
- hive，tez，spark，flink，storm，impala
数据可视化
- tableau，echarts，superset，quickbi，datav
任务调度
- oozie，azkaban，crontab