数据仓库(九)高效运营支撑平台数仓项目之概述总结

版权声明:@GaoShan https://blog.csdn.net/weixin_42969976/article/details/86574642

项目描述

本平台是外卖行业类的自营业务的运营分析平台的一部分,通过对数据的分析
获得用户主题和订单得相关分析情况,生成用户的访问模型和用户的订单行为模型
对访问时段和下单区域分布进行分析和报表展示

业务系统说明

用户使用浏览器(pc)和app端对平台进行访问,记录用户的注册信息,通过调研平台和数据挖掘记录用户的扩展信息,业务系统对用户的每次点击和下单信息记录到数据库中,并提供一台从库将主库的业务数据实时同步到从库中,同时分配对从库的只读访问权限,运营平台通过sqoo将数据抽取到运营分析平台,运营分析平台进行指标的计算,将结果存入到mysql中,将结果展示到报表,具体架构如下
在这里插入图片描述

数据仓库的分层:

理论上分为三个层:数据运营曾,数据仓库曾,数据产品曾
ODS
operate data store 操作数据存储,最接近数据源中数据的一层,经过抽取,洗净,传输(ETL)装入本层。
DW
data warehouse 数据仓库层,从ods层中获得的数据按照主题建立各种数据模型。
这一层中,我们需要了解四个概念

  1. 维 dimension
  2. 事实 fact
  3. 指标 index
  4. 粒度 granularity

App
该层次主要提供数据产品和数据分析使用的数据,一般会存放在ES,MySQL等系统中供线上系统使用,也可能会存在Hive或者Druid中供数据分析和数据挖掘使用。
比如常见的报表数据,或者说那种大宽表一般放在这里。



业务表数据模型

在这里插入图片描述


需求分析

用户访问模型
用户订单模型

任务调度

调度的任务主要是抽取数据和进行指标计算,调度工具使用azkaban/oozie
(高效运营支持平台笔记中文章末尾操作流程)

数据初始化

数据初始化分为两部分mysql和hive两个部分

猜你喜欢

转载自blog.csdn.net/weixin_42969976/article/details/86574642