数据资产管理在腾讯游戏的实践
陈才 大数据技术与架构
本文是由来自腾讯的陈才进行的分享。作者专注数据资产管理，自动化运维，AIOps。
腾讯游戏大数据运营概况
每日传输量：17000亿条，约260TB，总存储量为100PB+，公司占比为20%。
在游戏大数据管控中，面临着众多问题与痛点：
- 数据多样化，缺少统一标准
- 计算逻辑理解一不致，导致统计结果有偏差
- 数据全链路质量问题，层次复杂、不能快速定位问题
- 游戏数据管控的问题与难点
- 数据质量偏低给数据应用带来的各种挑战
- 数据标准缺乏结构化管理，集成困难
- 数据分散，没有形成完整的成本管理
- 数据价值的评估较为困难
- 数据安全与合规保障的问题
历经6年在各阶段解决的关键问题，构建游戏大数据资产管理体系：
通过组织、流程、制度、技术等组合手段，确保数据交付的质量、效率、成本和安全，助力业务数据价值提升。
游戏大数据资产管理体系
元数据管理
- 异构适配，集中存储
- 业务指标，开放共享
- 描述数据，理解业务
- 自动构建血缘关系链
- 扩展能力，辅助运营
数据采集架构
- 单机： UDP：5W qps; KCP: 9w; TCP:10w
- 单机吞吐量：180Mbps
- 分布式高可用，双方扩容互不耦合
- 高可用，高可靠：扩容不丢失数据；WAL双备数据
- 完整率: 99.99~99.9999%
- 多协议支持；多数据格式支持
- 专业数据管理、数据运维
- 周边系统完善支持
数据标准管理
数据治理面临挑战
数据服务运营质量面临三大挑战：
- 全链路数据服务环节众多复杂，问题定位困难
- 业务服务故障，回溯数据问题非常困难
- 数据平台异常，如何快速评估影响面
解决方案：基于数据+业务血缘构建全链路质量保障体系
数据治理-血缘构建
数据与业务血缘关系链构建过程:
数据治理-血缘应用效果
- 构建数据与业务血缘，保障数据全链路服务质量SLA达99.99+%
- 1min内告警并评估影响面和问题快速定位
资产运营-成本管理
资产运营-数据生命周期管理
无数据生命周期管理会出现：
- 数据无序增长
- 成本快速上升
- 计算效率低下
- 数据维护困难
随时间推移，数据使用价值不断衰减，数据在线度就是反应数据的在线程度和使用衰减情况影响数据在线度的因素：数据使用价值和数据重要等级，而数据使用价值有跟数据访问热度和应用广度有关，数据在线度的关联函数为：