20210131 写给一线分析师的几点总结（文章整理）

写给一线分析师的几点总结

https://zhuanlan.zhihu.com/p/149400859

重点回顾

好的分析就是一个「数据比较 -> 洞见 -> 业务优化」的过程。无论是哪种场景，「比较」都要具象化到实际业务场景才能提出可落地的业务洞见，而具象化的分析依赖一个关键工具：画像体系与业务指标体系。这个体系对业务的还原度越高，分析质量也越高，因此分析师团队要不断去「养」自己业务的画像指标体系。最直接「养」画像与指标体系的机制就是不断去用，每次应用所发现的问题持续小步迭代解决。

在对接一个业务需求的时候，分析师一定要搞清楚：

这个需求围绕的业务目标（O）是什么，什么指标去量化 O？
业务聊的核心用户群体是谁，什么维度可以量化这些细分用户群体？
潜在的抓手（KR）有什么，业务提到了哪些，我们又可以举一反三出来哪些？

数据分析需求分为三类：
5. 基本型需求：分析师必须具备的能力与交付，是分析师做事情的行为底线。基本型需求完成不好的时候，再多的锦上添花也是徒劳，也会直接失去业务方的信任；
6. 期望型需求：一般业务与分析师正式拉会所讨论的项目与预期就在期望型需求的范围，这部分需求完成的越及时或者越多，业务方对数据分析的评价也会越高；
7. 惊喜型需求：主动分析，跳出业务的思考框架，数据分析产生的洞见帮助业务解决困惑，发现战略机遇，或者数据所提供的策略帮助业务完成难以达成的目标，就是惊喜性需求。惊喜性需求没有被满足业务不会不满，一旦被满足的时候业务的满意度是非常高的；

伴随业务发展 4 个阶段，对数据分析的需求：

第一阶段：从零到一，直觉驱动业务野蛮生长。需求：** T+1 准确反映业务 OKR 指标表现，分析师及时做好 BI 角色支持**。
第二阶段：增长放缓，实验评估助力业务小步迭代。为业务提供的关键价值就是：引入实验机制，以 AB 测试为典型的统计方法可以精确、科学的度量每个实验的微弱效应，帮助业务在投石问路过程中「听到」方向。
第三阶段：增长遇到瓶颈，数据驱动业务找到新目标体系与增长发力点。需求：深度思考业务问题并主动提出需要数据分析的问题。
第四阶段：数据持续驱动细分人群的差异化策略迭代。需求：在细分用户群体粒度整合阶段二的实验能力和阶段三的观测性研究能力，打通数据驱动细分策略迭代的流程。

分析师的商业价值

直觉驱动的困境

	业务开展早期，「直觉驱动」成功率更高，可能也是仅有的方案。但是随着业务发展，好的直觉会被逐渐穷尽，业务增长进入瓶颈期的时候，「数据驱动」的价值就会越来越大。

分析师是谁？做什么？产出的价值？

> 「宋世君：我们谈谈“DS 是谁”. 用心理学的术语, 这个其实是 DS 的“本我”。我们是一群在相关量化领域受过专业的训练, 并且希望应用自己的量化能力, 在数据中挖掘对业务有用的信息, 并且通过这些信息为业务发展提供助力但是同时又保持数据的中立性的人。......，从个体的角度, 这也意味着我们看待 DS 并不是看这个人的学术专业, 而是看这个人的动机和意愿。公司里跟数据有关的职能是多样的, 有些是把数据作为拿到业务结果的抓手, 要对业务结果负责, 这些是数据运营. 有些是把数据作为研发的对象, 对跟数据相关的这些产品负责, 这些是工程研发. 有些是基于数据做实时地在线实现, 这些是算法工程师的工作. 这些都是我们的合作伙伴, 但是我们又有我们自己的定位, 跟这些都不同. 我们应该**为我们工作的中立性和科学性负责. 我们需要有业务的思想, 但是我们并不是要做业务本身, 我们希望做业务发展的催化剂。**」

「直觉驱动」的短板可以分为以下四类：
1. 看不清自己的用户是谁、有什么行为，体验如何「= **拿不准用户**」；
2.  将顶层 KPI 拆解成若干抓手和子目标的时候，并不明确这些抓手和目标事实上是否可以提升 KPI，或者哪些抓手与目标更加有效「= **打法不清晰**」；
3. 难以评估策略对用户与 KPI 的影响「= **算不准影响**」；
4. 不知道业务健康度如何以及当下要采取的行动「= **看不清现状**」。

补足短板的具体解决过程体现了分析师日常在做的事情以及数据分析的价值：

1. **「拿不准用户」：当直觉不能很好契合用户诉求的时候，对用户画像细分、行为轨迹分析、流程转化等分析可以帮助业务更了解用户**：他们是谁，喜欢什么，什么环节体验不好，什么诉求尚未满足；
2. 「打法不清晰」：通常业务完成某个 KPI 可以用到的抓手非常多，比如，内容平台的终极目标之一是用户留存，同时提升留存的抓手有很多，例如 CTR、赞读比、访问时长、公域私域相互导流等。直觉并没有办法有效判断这些抓手哪个在当下最可能把留存提升上去，这时候，**基于数据的观测性研究可以估算抓手与 KPI 之间的关系强弱，辅助业务排布各个项目优先级。**
3. 「算不准影响」：直觉无法策略一个策略对用户的影响，实验分析是高效评估策略影响的解决方案，**AB 测试可以帮助业务看清每个策略对各个细分人群体验的影响并持续小步向前迭代**；
4. 「看不清现状」：**当大盘指标异常波动的时候，异动归因分析相比直觉是更加科学高效的方法来定位指标波动原因并提出解决方案。**

业务不同阶段下数据分析的发力点与交付

这里采用 Noriaki Kano 的 KANO 需求模型将数据分析需求分成三类：

基本型需求：分析师必须具备的能力与交付，是分析师做事情的行为底线。基本型需求完成不好的时候，再多的锦上添花也是徒劳，也会直接失去业务方的信任；
期望型需求：一般业务与分析师正式拉会所讨论的项目与预期就在期望型需求的范围，这部分需求完成的越及时或者越多，业务方对数据分析的评价也会越高；
惊喜型需求：主动分析，跳出业务的思考框架，数据分析产生的洞见帮助业务解决困惑，发现战略机遇，或者数据所提供的策略帮助业务完成难以达成的目标，就是惊喜性需求。惊喜性需求没有被满足业务不会不满，一旦被满足的时候业务的满意度是非常高的；

第一阶段：从零到一，直觉驱动业务野蛮生长

第一阶段的典型特点就是：从零到一，直觉以较高的成功率驱动业务早期的野蛮生长。数据分析在这个阶段会跑在后面紧跟，业务在第一阶段对数据的需求就是 T+1 准确反映业务 OKR 指标表现，分析师及时做好 BI 角色支持，不要在业务需要临时看数据的时候连现成的 sql 都没有备好。

基本型需求：埋点、OKR 指标口径与常用 sql、数仓明细表；
期望型需求：业务日报（OSM），每天早上盯住关键指标并及时报备异常波动；用户生命旅程数据刻画（UJM）
惊喜型需求：
- 通过描述性统计帮助产品找到发力点：用户属性、行为研究帮助产品看清各个模块与内容上面的用户密度；产品漏斗转化率分析帮助业务看清产品各环节表现，找到转化瓶颈并重点改善体验。
- 比对分析竞品该业务早期的关键指标数据，大致判断目前的增长速度是否足够快，空间还有多大。

第二阶段：增长放缓，实验评估助力业务小步迭代

第一阶段临界终点的时候，直觉依然可以找到大量改进措施，但是从大盘指标上可以看出业务增长放缓甚至横盘。这时业务就进入了第二阶段，这个时期显著影响大盘指标的策略会越来越少，很难通过上线前后大盘数据对比来判定业务动作的好坏：投石问路的过程中业务最怕的是听不清石头落地的声音，因此分析师在这个阶段为业务提供的关键价值就是引入实验机制，以 AB 测试为典型的统计方法可以精确、科学的度量每个实验的微弱效应，帮助业务在投石问路过程中「听到」方向。实验机制是业务第二阶段的高效解决方案的另外一个原因是，实验可以对线上同时运行的多个策略带来的影响分别进行准确估算，因此实验机制在速度和精度上都全面超越原始的事前事后对比法。在这个阶段，分析师需要充分发挥统计专业能力，做好实验方法咨询的角色并积极推进技术、业务部门之间协作打通实验平台。

基本型需求：
- 实验分析支持为业务方提供统计专业咨询，e.g. 实验设计，AB 数据含义，统计指标的计算口径
期望型需求：
- 联动业务、后端、前端开发、BI 协同搭建实验平台
- 平台可以并行线上实验同时可以自动化处理实验分流不均、检验指标显著性
- 向业务普及 AB 方法与对业务的价值，出具实验分析白皮书强化业务对实验的信任
惊喜型需求：
- 将实验分析报告模板化，赋能业务在脱离分析师资源的情况下自主完成实验设计与分析报告
- 维护业务上下线的实验明细日志，包含实验 ID、业务策略、影响、上下线时间、上下线理由，季度性提供给业务去复盘总结

第三阶段：增长遇到瓶颈，数据驱动业务找到新目标体系与增长发力点

在第三阶段开始的时候，策略的成功率与影响程度都大幅降低。这个阶段，产品和运营侧好的直觉基本被穷尽，算法侧已经把特征体系和技术选型迭代到了相对完备复杂的水平，再想提升预测精度是非常困难的，便开始频繁出现实验结果不显著或者负向的业务策略，业务增长正式进入横盘阶段。在业务缺少方向感的时候，数据驱动业务方向的选择就越来越被重视。

分析师一定在这个阶段有业务主人翁的意识，开始深度思考业务问题并主动提出需要数据分析的问题。有必要强调的是，分析师在这个阶段要主动思考和分析，不能被动响应业务需求；不要妄想去证实业务这个阶段的直觉是不是对的，而要站在更加全局的层面去思考业务发展的关键问题是什么；不要再沉浸在实验方法的优化上面，而要开始频繁旁听业务讨论会，重点体会业务高层在会上提出来的问题以及流露出来的困惑点。这些对于分析师找到需要分析的关键问题是非常重要的，也是分析师在这个阶段产生影响的第一步。

对于增长而言，第三阶段也许最为重要的指标就是用户留存率。用户增量 = 新用户+沉默召回用户+活跃用户*留存率，业务早期的增长可以通过业务之间导流与拉新来完成，当业务成熟后，提升存量活跃用户的留存是最为经济的手段。
目标是否有可能错了？能够有效提升留存的目标应该是什么？这就是分析师要在第三阶段试图用数据来回答的关键问题。

基本型需求：通过历史策略和数据开展观测性研究，通过数据估算策略当下每个子目标对公司顶层指标的影响，联动业务制定并落地新的目标和增长方案；
期望型需求：积极主动创新，寻找更具增长潜力的新指标，纳入当前业务的子目标体系，提供子目标整合成统一一个目标的方案；
惊喜型需求：观测性研究方法工具化，赋能业务在脱离分析师资源的情况下自主完成目标优化。

第四阶段：数据持续驱动细分人群的差异化策略迭代

在第四个阶段，通常是每个策略迭代都伴随留存不显著波动但是二级指标互有涨跌的现象。糟糕的是，当留存等顶层指标不变但二级指标互有涨跌的时候，数据不能给出明确策略上下线的建议，业务便又退回到了基于直觉来决策的原始形态。在这个阶段，不够克制、盲目上新的产品会变得臃肿，给用户带来产品功能复杂冗余的不良体验。
在这个阶段，数据评估层面需要做系统改善来保障决策的科学性。实际上很大概率成立的一个事实是：把所有用户当做一个大盘整体来评估用户体验是低效且失真的，策略在大盘层面的「表象影响」是细分用户群体层面的「实际影响」的累加，而「实际影响」在不同用户群体之间可能存在显著差异。

分析师在这个阶段需要在细分用户群体粒度整合阶段二的实验能力和阶段三的观测性研究能力，打通数据驱动细分策略迭代的流程：
Step1：基于细分实验分析，策略在指标普涨用户群体上线，普跌群体下线；
Step2：产品运营与分析师联动展开用户调研与观测性研究，针对体验不良的用户群体探索新的增长发力点；
Step3：循环
在此基础上，分析师需要在这个阶段打磨到细分用户群体的异动归因分析能力，帮助业务及时发现问题和增长点。

分析师的工具

分析本质上是在做什么？

分析本质上就是在「比较」。
好的分析就是一个「数据比较 -> 洞见 -> 业务优化」的过程。洞见离不开「比较」：无论是我们看指标走势，AB 差异，同比环比，或是回归分析模型中的参数，这些都是我们「比较」的不同形式。具体来说，数据比较来源于三种分析场景：

实验分析；
异动归因：日报周报解读，突发指标异动分析；
观测研究：增长抓手分析，未经实验全量上线的策略评估，长期战略规划。

比较背后的思考体系

在对接一个业务需求的时候，分析师一定要搞清楚：

这个需求围绕的业务目标（O）是什么，什么指标去量化 O？
业务聊的核心用户群体是谁，什么维度可以量化这些细分用户群体？
潜在的抓手（KR）有什么，业务提到了哪些，我们又可以举一反三出来哪些？
在这些问题搞清楚之前，先不要动 SQL 或者建模方法。

不难看出，分析的一个核心基础能力就是一套健全的画像、指标体系。

基础：画像与业务指标体系

**无论是哪种场景，「比较」都要具象化到实际业务场景才能提出可落地的业务洞见，而具象化的分析依赖一个关键工具：画像体系与业务指标体系。这个体系对业务的还原度越高，分析质量也越高，因此分析师团队要不断去「养」自己业务的画像指标体系。最直接「养」画像与指标体系的机制就是不断去用，每次应用所发现的问题持续小步迭代解决。**指标、画像体系建设的责任要落实到个人，整合团队业务分析师的画像与指标口径，持续优化体系的完备性可用性，并推动工作成果在业务分析、实验平台、业务运营平台上落地应用。

完备的多边平台画像需要包含供需+场景的刻画：
- 需求画像：用户 demographic，诉求归类（产品 = 诉求），用户行为、兴趣分类；
- 供给画像：供给形态、来源、品类、时效；
- 场景画像：时空，供求关系，竞争，大盘等外生因素刻画。
多边平台的业务指标体系在描述业务健康度，平台增长要么是拉动供需规模要么是增加匹配效率，因此业务指标体系包含以下三类：
- 供需结构指标：按照需求 + 供给画像细分后的用户数、供给分发规模；
- 匹配效率指标：供给分发转化率 e.g. CTR、ETA、成交率、交互率…；
- 体验结果指标：用户留存，人均消费与浏览时长；

方法：实验、异动归因、观测研究

在这里插入图片描述

未来分析师所处的环境

未来分析的工作还是离不开画像指标体系、实验评估、异动归因和观测研究，但是会更加关注这套体系的科学性与落地上面，也因此可能会分化出来两拨分析师：

业务导向的分析师优化业务与数据的连接，挖掘业务表象的跟因与战略机遇，并将洞见以画像与业务指标的形式做落地，指标与画像的工作直接优化了业务的分析质量和运营效率；
模型导向的分析师优化基于数据做评估、归因、推断的科学性，并落地易用的数据产品，在此基础上，发现业务决策过程中不科学的环节，推动数据分析工具在这些环节的应用。
因此我建议分析师在懂 SQL，基本的统计方法基础之上，增强自己的业务属性和数据科学属性：学习商业、经济学原理，理解基本的因果推断与计量方法，强化构建模型内核的 scripting 能力。