Meta用研如何做“定量概念测试”
翻译：CCLEXI 审校：Fiona | UXRen翻译组 #403 译文
原作者： Caroline Kim, Leah Acosta, Ryan Finch
原标题：《Quantitative Concept Testing: How We Bring Users Into Product Decisions Before We Even Start Designing》/ 定量概念测试：我们在开始设计前，如何让用户参与产品决策
【征集令】UXRen x beBit诚邀分享嘉宾（有钱有证）
如何从0到1开发出一款产品？那些创造全新产品的团队——有几十种方法来测试产品创意。经过充分测试的方法包括 A/B 测试、交互式原型(interactive prototype)和线框稿(wireframes)。在Meta工作的UX Researcher使用了所有这些方法，但缺少一种在在原型出现之前快速测试一堆想法（15+）的方法。经过几轮测试和迭代，他们推出了一个定量概念测试版本，该版本帮助meta的团队将用户反馈整合到创意设计过程中，进行产品创意的优先级排序。
在这种方法中，使用的是文本描述而不是图像，因为在这个早期阶段，meta的UX Researchers 想知道这些待测概念对我们的目标市场是否有价值。他们对之前的调查设计进行了 A/B 测试，并进行了两次完全相同的调查，一次仅包含文本描述，另一次同时包含图像和文本描述。结果发现，虽然图像可以帮助澄清概念描述并为其增添色彩，但设计执行可能会分散注意力。使用文本描述消除了参与者专注于特定设计实现的风险。如何实现这些概念更适合在下一个阶段进行定性测试。
定量概念测试如何融入产品开发过程
在典型的产品开发过程中，产研团队在每个阶段从大量的机会点中筛选出合适的机会点/产品概念。 由于时间和资源的限制，产研团队经常依靠自己的直觉来决定开发哪些产品概念。 定量概念测试有助于确保将用户的想法纳入决策过。 定性测试最适合缩小下一阶段想法的最佳执行范围。
我们使用的方法：最大化差异度量+顺序型单一测试
（MaxDiff + Sequential Monadic Survey）
定量概念测试有两个目的：
- 根据用户的反馈得到最有前景的产品概念/机会点进入下一个阶段的分析评估，并且得到一个排序列表。
- 了解每个概念的优缺点，并查明排名较低的概念背后的原因。
为了实现这两个目的，我们在定量概念测试中结合了两种不同的方法：
最大化差异度量（MaxDiff）→实现目标1：得到排序
第一个目标是通过 MaxDiff 数据收集和分析方法解决的。例如，在总共21个概念中，参与者每次将看到随机包含4个概念的子集。参与者在每个随机子集中选择最有价值和最不有价值的，如左图中的最后一列所示。最终回收问卷，通过数据分析，研究者将得到一个从最有价值到最没有价值的概念的排名列表。进而将该列表的结果纳入决策考量。
顺序型单一测试（Sequential Monadic）→目标2：了解优缺点
第二个目标是通过设计顺序型顺序单一测试问卷来实现的。首先要建立一组指标维度，然后根据同一组指标评估每个单独的概念。参与者在每道题中看到一个概念描述，并用五分制对每个指标进行评分，如左图中的中心列所示。常见指标包括喜好程度（likelihood to use）、独特性（uniqueness）、易理解性（comprehension）。
虽然从每个参与者那里获得每个概念的指标会很好，但是理想的调查长度短于20分钟。如有较多的概念（15-21），可以将参与者分成小组，参与者只回答 5-7 个概念（建议不超过7个）的指标维度问题。每个参与者都会看到 MaxDiff 中的所有概念，但是只对其中部分概念进行基于指标维度的反馈。
定量概念测试的前期准备
1. 确定用户群体和市场
以Facebook为例，哪些国家的用户对我们来说最重要？比较哪些用户群体更为关键？对于问卷调查来说，面向普通人群的成本最低。随着细分市场变得更加具体，成本会线性增加。建议每个受访者评估不超过7个概念（以限制调查长度，确保用户反馈的准确性和调研结果的可行度），每个概念、每个部分的受访人数n= ~300。
2. 设定用于MaxDiff的概念
用一句话描述每个概念。建议不超过20个概念，再加上一个基准概念（最多21个概念）。与主要利益相关者（例如，内容策略师、设计师、产品经理）合作以协调概念和描述并最终实现影响。
3. 设定顺序型单一测试的指标维度
选择合适的指标。不同项目的需求可能有所不同，Facebook的用研团队针对每项调查制定了以下一组指标：总体意见（Overall Opinion）、喜好程度（likelihood to use）、独特性（uniqueness）、易理解性（comprehension）、未满足的需求（unmet needs）和对体验的影响（Effect on Experience）。
如何撰写概念描述
- 一致的长度和细节
所有被测试的概念在长度和细节水平上应该相似。 - 清晰的语言
清晰、简单和具体。用适合目标受众的语言写作。确保使用中性的、对消费者友好的词和短语，确保没有公司内部的术语或缩写。 - 统一的措辞和语气
保持动词的时态、标点符号、语气和文本格式（粗体等）在概念之间保持一致。 - 概念最小化
专注于概念的核心观点。测试“双管”概念会模糊用户理解并导致混乱的反馈。 - 明确需求
确保这些概念能够说明潜在的消费者需求或解决相关的痛点。
调研方案设计概述
在问卷开头根据人口学信息进行筛选，定义目标人群和关键人口统计数据，以确保样本具有代表性。用研究目标人群很重要但不用于定义的其他人口统计数据（例如收入）来结束调查。
问卷针对较小的屏幕（智能手机、平板电脑等）进行优化，方法是使用倾斜网格，保持文本简短，并限制开放式结尾。
时间表可能会因项目的具体情况而有很大差异。 我们通常从开始到结束花费 5-7 周。 但持续时间还取决于有市场容量、受众细分、指标和概念。
下面是一个示例时间线。
一些关于结果呈现的建议
在过程中最重要的部分是通过分析数据来生成洞察和建议。 结合从MaxDiff和评价维度指标中得到的洞察得到清晰的排序。
结合这些数据的tips:
- 用指标维度的评分来解释MaxDiff得到的排名
在指标和 MaxDiff 中得分高的概念应该是最值得推荐的概念。具有低 MaxDiff 排名和高指标评级的概念可能表明尚未开发的价值。在理解性方面排名较低但在其他指标中排名较高的概念可能在原型的定性概念测试中表现更好。 - 不要只看排名
这不仅仅是关于 MaxDiff 排名。在其他指标上得分较高的较低排名的想法可能值得进一步讨论。只需要说明概念背后的价值de主张和可行性。此外，寻找可能出现的模式，例如高分概念之间的共性。 - 考虑不同指标的优先级
某些指标可能对您的团队更重要。例如，如果一个概念在使用可能性上得分高，但在体验上的影响得分低，则该想法可能风险太大。 - 关注不同细分用户群的分数差别
不同细分用户群的分数可能不同。需要讨论哪些部分是最重要的以及任何潜在的权衡因素。 （对于某些概念，这可能会有所不同。）细分用户群体之间的差异还可以帮助研究者解析它们之间几乎没有变化的排名分数。例如，一个概念可能在较年轻的年龄组中表现良好，而另一个概念在较年长的年龄组中表现良好。那么得到的结论可能是建议采用这两个概念来解决更广泛的人群 – 或者在特定细分市场上深耕，采纳该群体感兴趣的概念。 - 用户研究是决策因素之一
用户的反馈只是团队在做出决定时应考虑的一个因素。平衡这项研究与工程成本、研发投入规模、团队目标指标、产品团队对概念的兴趣等。在协作优先级排序中，应与利益相关者（例如，PM、工程、设计）讨论这些考虑因素，例如用一些评估框架来讨论这些概念。
在完成这些要点后，您将能够为您的产品团队整理一份建议列表。我们建议将它们分为三个部分：
- 哪些想法值得投入？
- 哪些需要更多讨论？
- 哪些暂时不考虑（以及原因）？
确保听到用户心声
如果做得好，这种概念测试方法可以用户的反馈能够影响到团队如何进行优先级排序。 它极大地减少了精力的浪费，并增加了推出成功的新产品或功能的可能性。
原文来源：https://medium.com/meta-research/quantitative-concept-testing-c644cb6748a5（2021.12.23）
版权声明：该文章在UXRen公众号（cnUXRen）首发后方可转载，转载时请注明出处及译者、审校者信息，如有违背，UXRen社区保留侵权追责的权力。
