翻译：Fay  审校：林有九 |  UXRen翻译组 #401 译文
原作者： Udit Maitra
原标题：《Validity and Reliability of Qualitative UX Research》
副标题：信效度对用户研究结论及研究过程的质量起决定性作用。

摘要：一项设计不合理的研究可能得出误导性结论并摧毁业务，而好的定性研究既可信又有效。

 

我们来试想这样一个场景：你为产品新上线的功能做了一份令人印象深刻的用户体验报告，并兴致勃勃地向管理层汇报这份报告，不料他们指出：“你的研究结论与事实不符”。

我明白这种万般努力付诸流水的沮丧，你花费了大量时间精力做调查，最终研究结果却没有得到认可。我以前也犯过同样的错误，但这些经历教会了我新的东西。在此，我愿意将这些宝贵的经验分享给你，帮助你评估用户研究结果和研究过程的质量。

在那之后，我意识到仅仅做个研究是不足以支撑整个团队和公司业务的。于是我和团队确定了另一个考量维度：“要怎么做，你才能确保自己的用研高质量且结果可信？”。错误的研究数据被用于制定业务或产品策略可能对团队和公司损伤巨大。

 

巧妙地解决了“错误的问题”比没有解决任何问题更糟糕。请解决真正的问题吧！
——唐纳德·诺曼

 

接下来我将给出两个描述研究方法与结果质量的术语：

1. 信度（Reliability）
2. 效度（Validity）

但这两术语是啥意思，来让我们深度解读一下。

 

信度

【好的研究在不同场景下具备结果的一致性。】

简言之，研究信度指在相同或相似情景下重复研究过程将得到相同的结果。换句话说，研究结果不随机。

图1：尽管所有影响因子相同，相邻三天重复测试的研究结果并不一致，这意味着研究的信度较低。

 

研究设计中影响信度的因素主要有以下四大类：

1. 参试者误差（Participant error）：任何对参试者的表现产生不利影响的因素。
   示例：假设你在做一项电商网站的研究，老年群体由于视力较弱或其他生理、认知障碍等原因呈现产品使用习惯的差异化，此时，较弱的视力或者某些生理、认知障碍可能导致参试者误差。
2. 参试者偏差（Participant bias）：任何产生错误反应的因素。
   示例：仍旧是这项电商网站的研究，你招募了一些公司员工作为参试者。由于参试者在研究过程中不想表露自家公司的负面评价，这时候的参试者态度很可能是有偏的。此处参试者隶属于同一家公司的背景就是导致参试者偏差的因素。
3. 研究者误差（Researcher error）：任何使研究者对访谈物料的解释发生变化的因素。
   示例：某天你已经连续访谈了五位参试者，精疲力尽，对于第六位用户的访谈，你可能不像之前那样描述准确。故而，你自身的行为可能影响了研究结果的准确性。
   
4. 研究者偏差（Researcher bias）：任何使研究者记录数据时产生偏差的因素。
   示例：有时研究者感知和看待事物的方式与众不同，这是因为他们期望得到特定的研究结果，所以他们会按照自己的期待来理解事物。然而，正是这些独特的视角和研究方式可能导致研究者获取到的数据是有偏的。

 

效度

【好的研究需要准确测量欲测量之物。】

简而言之，研究效度指测量出欲测量之物的准确度。

图2: 上图展示了研究过程中的样本选择错误（目标是老年群体却选择了青年参试者），同时研究者的提问具有引导性。

研究设计中影响效度的因素主要有两大类：

1. 内部效度误差（Internal validity error）
2. 外部效度误差（ External validity error）

 

内部效度误差

当不恰当的研究设计引发某种反应或行为时，研究就会出现内部效度误差。

例1：依旧是电商网站研究，你做了如下访谈：

• 研究者：“1号用户你好！你觉得这个网站简单易用吗？”
• 1号用户：“是，我非常喜欢，它非常容易使用。”

由于用户被问到这个问题时，习惯性甚至条件反射式地想到“容易”，他们就会宣称自己觉得容易使用，甚至在自己不这么认为时也这样说。

例2: 你想知道设计方案A还是方案B更加一目了然。

如果首先向用户展示设计方案A，再展示设计方案B，你可能会观察到用户出现特定的倾向，即用户认为设计方案B比设计方案A更简洁清晰。

因为当你展示设计方案A后，用户熟悉了测试情景并明确了测试任务。因此，这次研究缺乏内部效度。（对于此问题，通用的解决方案是采用交替出现的方式，确保有一半的用户首先看到设计方案B。）

 

外部效度误差

外部效度指研究结果的普遍代表性，换句话说，这项研究结果能在多大程度上推广到其他相关情景或人群。

例1: 假设研究目的是了解老年群体如何使用这个电商网站。

但你却招募了年龄在25-35岁之间的用户，那么研究这份错误的样本永远得不出符合事实的数据。

例2: 假设你为一群现场工程师（field engineers）设计了一款应用。

而你要将这些工程师带到公司的可用性实验室来检验app的可用性。你认为，目标用户使用这款应用的场景和实验室相同吗？

肯定不是，现实世界中会有许多变量可能以不同的方式影响你的研究设计。（例如：太阳光线会影响产品设计，主要原因在于光反射，因为阳光下手机屏幕刺眼导致无法直视。）

图3:现场工程师通常使用这款app的场景如上图所示。

 

总结

如果一项研究信度高而效度低，那么这只是一次对“错误对象”进行“精确测量”的研究。故而，信度与效度缺一不可。

现在，如果有人问为什么我应该相信你的用户研究数据？正如前文所述，你必须一一阐明你的研究是如何可信且有效的。

简言之，在把研究数据向相关利益者展示前，请反思以下几个问题：

1. 研究存在参试者误差吗？
2. 研究存在参试者偏差吗？
3. 研究存在研究者误差吗？
4. 研究存在研究者偏差吗？
5. 正在招募的真实用户或典型代表属于真正应该研究的目标用户吗？
6. 如果其他研究者在同一环境下对同类别用户中其他样本重复测试，能得出一致的研究结果吗？
7. 研究结果是否具有推广性？换言之，如果在目标群体所处的实际场景中研究，能得出一致的研究结果吗？

 

好啦，到这里你已经对“一项高质量的用户研究”有了充分的了解。如果你有任何疑问或建议，欢迎在下方评论区留言。

祝一切顺利，研究愉快！

原文来源：https://maitraudit.medium.com/validity-and-reliability-of-qualitative-ux-research-f85980d5b416（2022.2.3）
版权声明：该文章在UXRen公众号（cnUXRen）首发后方可转载，转载时请注明出处及译者、审校者信息，如有违背，UXRen社区保留侵权追责的权力。

12+