选择小范围试验的核心标准只有一条:这个试验能否在代价可控的前提下,帮你判断某个改动是否真的解决了具体问题。做法是先锁定一个可观察的问题,再选一个能隔离变量的试验范围,最后预设判断标准。不要同时改多个地方,否则结果无法归因。
不是所有体验问题都适合用小范围试验解决。适合做试验的问题通常有三个特征:现象可重复出现、原因存在多种可能、改动代价可以接受。例如表单提交失败率偏高,可能是字段太多、提示不清、按钮位置不明显,也可能是技术报错。这时用试验逐个排除,比一次性大改更可靠。
反过来,如果问题已经明确定位到某一行代码错误,直接修复即可,不需要试验设计。如果改动涉及全站架构或合规要求,也不适合小范围试验,因为无法只对部分用户生效。
小范围试验的“范围”可以按用户、页面或时间三个维度切分,各有不同的适用条件。
选择时问自己:这个改动如果有效,我预期在哪个指标上看到变化?如果答不上来,说明试验范围还没选对。
第一,把相关当因果。如果试验期间刚好有促销活动,加购率上升可能来自促销而非按钮改动。第二,指标混用。搜索点击率、广告转化率、社媒互动率和销售指标各自反映不同环节,不能拿一个指标的上升证明另一个环节也变好。第三,样本太小就下结论。几个用户的反馈只能作为线索,不能作为判断依据。
如果试验结果不明确,不要强行解释。可以延长观察时间,或换一个更窄的范围重新试验。如果结果明确但方向相反,说明假设不成立,这本身也是有价值的结论。
从你当前最想解决的一个体验问题开始,把它写成一句可检验的假设,然后按上面的步骤选一个代价最小的范围先跑一轮。跑完之后,不管结果是否符合预期,都记录下来:问题是什么、改了什么、范围多大、指标怎么变。这份记录会成为下一次选择试验范围的依据。