【UXRen译#21】关于在用户体验领域进行科学研究的五条建议

虽然科学研究在以用户为中心的设计实践中起着关键的作用，但很多文章都是关于如何用一种“快餐的方式”来实现设计。为什么会如此仓促我相信一个更加严谨、科学的方法论的实施，会为我们的设计方法增加很多必要的可信度。

我和研究的缘分开始于差不多十年前。一天，当我还是一个初级原型制作者时，我被要求从用户那得到一些反馈。所以，我跟我的潜在用户笨拙地介绍了我的想法。有些人告诉我他们喜欢的地方；另一些温柔地说出了他们觉得可以提高的地方。我感到完满的离开了。

其实我知之甚少。后来，科研研究者的训练帮助我看到了我的方法中的错误。我意识到，当时我用了有偏见的解释来描述我的设计。我只听到了我想听到的，而不是我需要的意见。

一个严谨的研究方法为无偏见的发现提供了更加清晰的路线，这些发现会持续地帮我们了解我们的设计。这篇文章包含了五个方面（译者注：这里作者只说了四个方面，实际上是五个方面）：开始是关于研究计划的，然后是测试方法论的细节，研究者在测试中作用。最后我们会讨论如何将这些建议应用到研究中去的方法。

 

回到源头

所有的科学研究项目都会首先制定一个研究计划，一般包含以下内容：

• 要探索的难题（或者研究课题）；
• 现有文献的概要；
• 对现有文献里明显模式的假设或者推断；
• 决定该研究的邀约被试用户（下面会详述）；
• 要采用的数据收集方法论；
• 预计采用的分析方法；
• 预期结果。

写下研究计划的目标是为了完全地保证整个团队都理解此次研究的目的以及研究的每一个方面都被适当地考虑到了。

制定一个可靠的研究计划需要我们在开始时就对现有理论、模型和其他的研究进行广泛地回顾。这确保了我们不会做重复工作。例如，如果研究是基于系统可用性量表，那么最好去读一下关于它的原始论文来理解量表这个概念。找到原始的研究比那些漂亮的表格或者原始资料的引用数要有价值的多。有价值的学术引用网站包括谷歌学术搜索和微软学术搜索。由于“话筒传话（增添错误）”的风险，这些文档通常都要经过广泛的委员会检阅。这减小了它们包含错误信息的机会。

 

事先决定好研究参与者的数量

样本大小成为一个热门话题已经有一阵子了。一些研究者主张五个参与者就足够了；另一些研究者则根据他们想获得的说服力来计算样本大小；还有一些则仍然坚持认为更大的样本数量会有较小的风险概率。我的看法是，样本大小要取决于研究所采用的方法论。

例如，一个关于手机使用行为的定性的、探索性研究需要描述性的、有洞察力的数据，因此参与者的数量取决于（从每个参与者）获得的信息量。但是，一个定量研究，比如研究手机的使用对用户行为的影响就取决于置信界限、间隔以及分析方法。你的研究越具有分析性，你的样本大小就必须要越大。

不论哪种方法，关键是要在开始执行我们的研究之前确定参与者的数量，并且要持续地研究直到我们达到了那个（预定）数量。这确保了我们不会被研究开始的趋势所影响，从而导致我们忽略了一些细节事物。三哩岛核泄漏事故（指1979年3月28日发生在美国宾夕法尼亚州萨斯奎哈纳河三哩岛核电站的一次部分堆芯熔毁事故。由于工作人员没有注意到警报而后果惨烈。——译者注）就是关于细节的重要性的一个令人难过的提醒。

 

别让你的兴趣干扰你

科学研究关注客观性。因此，研究开始总是要得到伦理审查委员会，即批准并监督涉及人类的研究的机构的同意。委员会要求所有的研究者必须申明手头的研究项目不会受到他们兴趣的干扰。

那么，这对用户体验设计师意味着什么？很简单：设计师不该研究他们自己的设计。

设计师不可避免地设计对他们有意义的东西。这在有些情况下很有利，但它也酝酿了很多影响决策的偏见。为了收集指导设计的无偏见研究结果，一位经过训练的、不偏不倚的研究者需要对问题和答案拥有最终的发言权和解释权。这将有利于避免实验者偏见比如解释偏见和观察者偏见。

 

检验我们的测试

预测试（pilot test）是对研究计划的检验。对于科技研究者，先导试验很有必要，它的目的是为了保证研究计划的有效性以及帮助确定可能的问题。理想状态下，预测试采用目标用户中具有代表性的一些用户进行。

先导试验跟真正的研究计划完全一样的运行，只是它允许我们找到计划里测试的问题，而不是为了得到试验数据。比如，如果我们对一份问卷进行先导试验，发现用户不理解什么是“笨重的(cumbersome)”，那么我们或许会把它们从我们最终的问卷里删除。针对一份问卷，我们也会对用户完成它的时间进行计时，保证每个问题都被正确的理解，并询问参与者一些坦率的反馈。

如果我们打算进行一个可用性测试，我们会提供一些说明，并观察用户完成被分配的任务的情况，并以此来确保我们的说明是清楚的；我们会像真正的测试里一样提醒用户大声说出想法，坦率地提出他们的观点。最重要的，我们会记录下他们要求重复的问题或者他们要求解释的问题。

确保按照计划的脚本进行，并像普通研究那样来执行。询问用户关于如何提高整个研究的真实反馈，并让你的研究员进行相对的优化。

通常情况下，先导试验的结果只用于修正最终的测试。为保证结果的一致性，问卷的答案、完成任务的时间等结果不应该被统计到研究的最终结果里。

 

无偏见，无压力，无掩饰

科学研究经常要求在参与项目前，对执行研究的研究员进行广泛的调查。用户体验领域最新的趋势是让每个人都参与到研究里。作为一名研究员，没有比这更让我兴奋的了，但也如前所说，需要很清楚地认识到研究者缺乏经验和公开（而不是隐藏）观察者的人数对于整个研究的成功有反作用，这极其重要。

例如，可用性测试（可以说是用户体验领域里最常用的研究方法）可能对参与者有很大的压力。除了被要求“完成任务”，参与者有时会被置于令人心烦的人工环境中。这可能会相应地影响参与者的表现，并有使研究的发现变成无效的风险。

另一个影响参与者表现的方面是当他们知道自己正在被观察，参与者会改变他们的行为习惯，这也叫霍桑效应。更糟的是，观察者的数量增加时这些影响会更大。所以，让更多人参与到研究中一定是好事，只是我们需要更周全地进行提前考虑以减少人多带来的负面影响。

• 首先，每当我们找到一组用户来参与研究，我们应该确保研究过程中的主持人有一些相关经验和训练，以保证他们不会不小心影响到参与者。注意有引导性的问题，并根据实际情况分析得到的结果。
• 第二，要么让观察者处于隐蔽位置，要么让其数目最小。研究者的主要任务，是保证数据尽可能纯净（还记得客观性原则吗？）。一个有压力的参与者是不会提供可靠的数据的。
• 第三，记得提醒用户，我们不是设计这个方案的人，所以用户在给出比较多负面反馈的时候不会犹豫。
• 第四，经常提醒用户我们是在测试产品而不是用户本身。这不是什么新的信息，但是用户需要持续地被提醒这一点。
• 最后，时刻关注（用户）是否有压力的迹象。如果参与者开始表现的有压力，那么立刻改变主题或者考虑终结这一轮测试。这里的关键问题是区分开一个让人感到压力或者挫败的交互设计和一个有压力的研究环节。它们一个提供有价值的参考，另一个则提供不可靠的数据。

 

改变研究方法的用途

总结来说，我建议学习科学研究者的方法：

1. 为你的研究制定计划，阅读原始资料以得到准确的信息；
2. 在测试开始之前确定一定数量的参与者，并坚守住你决定的数量，即使出现了一些问题；
3. 保持警惕！当执行研究的时候注意偏见的出现。
4. 检验我们的测试。
5. 避免偏见、压力，和引导性问题。

最重要的，在研究过程中不要放弃严格的态度；它是指引我们得到有说服力的结果的唯一途径。

 

关于作者

ShreyaKothaneth拥有工业和系统工程学的博士学位（研究方向是人为因素和人类工程学）。曾在创造性、科技接受度、可用性和文化人类工程学等领域工作过。她现在供职于Hobsons，是一名人为因素专家。点击此处查看她的Twitter ：here 或者点此查看她的博客：here.

 

参考文献

. Fin, P. (2006). Bias and Blinding: Self-Fulfilling Prophecies and Intentional Ignorance

. Nielsen, J. (1993). Usability Engineering. Boston :AP Professional.

. Kraemer, C. & Thiemann, S. (1987). How many subjects? Statistical power analysis in research. Oaks, CA, US: Sage Publications, Inc. (1987). 119 pp.

. Faulkner, L. (2003). Beyond the five-user assumption: Benefits of increase sample sizes in usability testing. Behavior Research Methods, Instruments, & Computers, 2003, 35(3), 379-383.

. van Teijlingen, E. & Hundley, V. (2001). The importance of pilot studies. Social Research Update. Issue 35.

. Schrier, J. (1992). Reducing Stress Associated with Participating in a Usability Test.Proceedings of the Human Factors and Ergonomics Society Annual Meeting 1992 36: 1210. DOI: 10.1177/154193129203601606.

 

 

译者：尚昊；审校：fly；发布日期：November 10, 2013

原文作者：ShreyaKothaneth

原文链接：http://www.uxbooth.com/articles/five-tips-for-conducting-scientific-research-in-the-ux-world/

顶部图片来源：http://www.colourbox.com/preview/4178295-587193-scientific-research.jpg

版权所有：UXRen翻译组 （转载请注明出处！）