Chapter5 交互设计测试与评估
第一章 为什么要开展测试与评估
用户测试：请目标用户使用产品来完成任务，观察并记录用户使用产品的整个过程.
用户测试的定义：也被称为产品可用性测试，指特定的用户在特定的使用场景中，为了达到特定的目标而使用某产品时，所感受到的有效性、效率以及满意度。从而找出产品可用性问题，并解决这些问题，目的是为了改善这些产品，让产品更容易使用。
用户测试的测试目标
- 有效性--用户能够达成自己的目标；
- 效 率--用户能以最短路径达成目的；
- 满意度--用户没有产品不愉快的体验；
用户测试基本流程：
- 设计测试。设计参与者在测试中需要完成的任务；
- 招募用户。筛选符合测试要求的目标用户进行测试；
- 进行测试。观察并记录参与者完成任务过程中的情况。Tips：以抛出问题为主，少做建议。
- 分析报告。列出问题并进行分析，判定问题的严重性及特殊性。
案例：网易云课堂
用户测试的意义：
- 挖掘用户的潜在需求
- 发现并解决产品存在的问题
- 降低产品周期成本
- 增强设计的说服力
评估形式分类：
- 评估主体，主要有用户评估和专家评估
用户评估，就是用户测试，主要靠收集用户使用数据，它相对客观，但时间和费用花费较多，评估范围较宽
专家评估，是让工程师及设计师等专家基于自身的专业知识和经验进行评估的一种方式。它相对主观，但时间和费用花费少，评估的范围较窄
- 评估性质，主要有定性评估和定量评估
定量评估，是指对可以计量的部分进行评价，如点击量、使用率等
定性评估，是指对非计量性的部分进行评价，如流畅度、舒适性、创造性等
- 评估过程，主要有理性评估和感性评估
理性评估，相对客观，从客观角度出来判断客观事物，例如对比的是价格，我们一定会选择便宜的
感性评估，更为主观，评估结果并没有客观规律
以上评估方式各有优缺，需要结合起来使用。
四种常见评估方法
- 1、原型评估方法
“在产品研发过程中，对于界面设计以及程序的测试来获得用户的反馈是至关重要的。以用户为中心和交互式设计的重要因素之一就是原型方法，原型方法的目的是将界面设计与用户的需求进行匹配。”
- 快速原型：原型迅速成型，系统从草案中得到完善；
- 增量原型：需要阶段性的测试；
- 演化原型 ：对前期的原型进行不断地补充；
- 2、简易测试评估方法（摄像机、实验室、记录员）
“在条件不允许的情况下，可以采用简易的方法来对用户体验进行评价”
- 3、眼动评估方法
眼动追踪可以用来评价用户对产品设计的感性意象，评测产品设计的特性。眼动评估的指标主要有注视热点图（Hotspot）、搜索过程测量指标、兴趣区域（AOI,即用户视觉注意的交点去）
- 4、脑电评估方法
通过对脑电信号的分析，研究者可以探索大脑的认知加工过程和受试者的心理状况。
第二章 启发式评估
1. 什么是启发式评估？
定义：是专家评估法的一种，也被称为经验性评估。是一种简易的可用性评估方法，使用一套相对简单、通用、有启发性的可用性原则，让几个评审人员根据专业知识和经验来进行评估，发现产品潜在的可用性问题。
两大要素：
- （1）评估者
人数：推荐3~5人，有时也会简化
岗位：设计师、用户研究员
身份：最好非设计者本人
知识：同时具有可用性知识及设计知识更佳
- （2）评估原则
Nielsen启发式10原则、Nielsen拓展原则、Nielsen首页可用性指南、iSO9241、八项黄金法则、HHS网页设计与可用性指南
适用阶段：
- “评估越早越好”，一般是在交互/视觉设计阶段、测试优化阶段、正式发布阶段进行评估
特点：
- 优：成本低；效率高；发现大多数可用性问题；
- 缺：不能代表真实用户，相对主观；有时发现问题过多；对评估人员知识背景要求较高；
适用情况：
- 适合时间、资源有限的情况下快速发现可用性问题，降低风险及成本；
- 版本变动不大的情况下，小成本检验
- 作为可用性测试之前的准备
2. 如何进行启发式评估？
Step1：评估准备阶段
- 确定范围：整体vs局部
- 背景信息：用户、场景、主要任务、竞品
- 评估参考原则（如尼尔森10原则）：根据评审目标和产品特性选择
- 评委邀约：设计师、用户研究员、非本人
- 材料准备：评估说明、用户手册、评分表等
案例：网易云课堂
TIPS：事先提供一些评估表，比如启发式评估表等。
Step2：评估执行阶段
Step3：结果分析阶段
问题清单一般包括：问题序号、页面名称、问题维度、截图、问题/需求描述、解决方案；
报告形式：word形式、ppt形式、表格形式（建议）；
第三章 可用性测试
1. 什么是可用性测试？
定义：通过观察具有代表性的用户，完成产品的典型任务，从而找出产品可用性问题，并解决这些问题，目的是为了改善产品让产品更容易使用。
适用阶段
- “测试越早越好”，一般是在交互/视觉设计阶段、测试优化阶段、正式发布阶段进行测试
可用性测试类型：
- 1）形成式：小样本；发现问题解决问题为主；不能做定量对比（互联网产品常用：快速用户测试）
- 2）总结式：大样本，30人以上；可以做版本的对比评估和定量评估
可用性测试解决什么问题？
可用性测试的特点
2. 如何进行可用性测试？
流程：准备阶段--->正式测试--->结果分析--->优化（迭代，很多轮）
(1) 准备阶段：
- 确定目标
- 测试方案
- 测试脚本
给用户找点事儿做，观察、提问，获得我们想要的信息；
重点：设计测试任务
测试任务关注点：
- 锁定在主要任务上
- 从用户角度出发
- 明确起点和终点
- 任务场景化
- 招募用户
招募用户时可以用过滤问卷快速筛选用户.
招募用户案例：
- 材料工具
- 待测试产品素材（草图、低保真原型、高保真原型）；
- 常用量表工具 （可用性测试量表、形容词语义量表、概念吸引力测试卡片、卡片分类内容卡片、生活形态价值观量表、彩色竞品示卡、背景信息问卷）；
- 电子设备、桌椅、纸笔、办公区域、摄像机、录音笔等；
- 测试清单：测试流程、测试中用到的设备&材料等，核对清单防止遗漏！
- 测试场地
（1）专业实验室：
（2）普通会议室：观察人数较少时；条件有限时；
- 预测试
保证测试顺利进行！
(2) 正式测试：
- 正式测试输出物：测试记录、录像录音
- 测试参与人员：主持人、记录员、产品团队、用户
- 测试前：暖场、测前访谈、简单试用
- 测试中：用户执行任务、事后访谈
测试过程中的观察要点：
- 用户是否独立完成了任务；
- 是否存在无效操作或者不知所措；
- 用户是否不满
- 测试后：道别、准备下一场测试、简单总结发现
(3)结果分析：
结果分析输出物：测试报告
结果分析步骤：对发现分类、整理不确定项、评定优先级（参考常见标准）、结果记录；
结果分析工具：贴纸归类、excel表；
结果分析报告撰写
- 总体如何
- 有哪些问题？截图
- 严重程度如何？优先级的描述和排
- 建议是什么？
-
除此之外，可以问绕用户核心关注的问题和一些为满足需求做补充分析
报告样例：
- ppt形式：
- excel形式：
(4) 优化
- 优化跟踪输出物、优化方案
问题追踪表
敏捷测试
- Q1：可用性测试耗时太久，测试赶不上产品节奏？
- A1：敏捷测试，边测试边改进；提高测试效率（建立用户库、工具模板、简化流程或报告）
- Q2：正规测试耗时耗力？
- A2：简易测试
第四章 其他评估方法
（一）问卷调查
Q：产品上线后，想了解用户对上线后产品的满意度
适用阶段：产品研发前（挖掘需求）、产品设计（了解用户使用习惯、偏好）、正式发布（用户满意度）
适用场景：
适用于做定量分析、匿名调研、对已有假设进行检验、对用户的认知和态度进行评估，不适用于发现和描述具体问题、获取创新的想法、获取精确的行为数据。
问卷调查步骤：
- step1：确定调研目的
- step2：设计调研方案
常见抽样方法：随机抽样、分层抽样、分群抽样、系统抽样；
问卷投放量的考虑：
（1）线上问卷，一般相聚工时估计满足统计需求需要回收的量。置信区间，抽样误差，总体大小，需要交叉的变量几个因素影响；
（2）工具各个渠道投放回收率情况，计算所需投放量或投放天数；
投放方式选择
问卷投放渠道
- step3：问卷设计
- step4：问卷测试
（1）多找几个人一起试填，检查题项表述用户是否理解，是否有歧义，逻辑是否通；
（2）检查问卷跳转是否正常，在不同浏览器中能否正常显示；
（3）数据回收是否正常，避免回收出现问题；
- step5：问卷投放
投放方式选择：
问卷投放渠道
问卷回收效果跟踪
- step6：数据分析
案例：
（二）产品数据分析
1.数据分析概述
定义：通过在网站或应用中进行数据埋点，进而获取用户对产品的使用和行为数据，并进行基于产品体验优化的数据统计分析；
评估方法：
适用时间：
web端数据来源：
- 服务器日志文件记录
- javascript页面标记
移动端数据来源：
常用数据监控平台：
- 第三方网站监测分析工具
- 自己的数据分析平台
数据分析流程：监控-定义-埋点-测量（获取数据）-分析-优化-监控
2. 基础分析指标
- web页面常用基础指标：PV、UV、UPV、访问
识别用户的方式：IP、IP+User Agent、Cookie、User ID、设备ID、其他
- 复合指标：跳出率（来了就走）、退出率、访问时长、访问深度、转化率
3. 常见分析内容
4. 常见分析思路