1.5 A/B测试的使用误区


以为只有试验结果提升才等于成功

有些人认为只有当试验版本的数据优于原有版本时,试验才算成功。然而,A/B 测试是用于选择最佳版本的工具。试验可能出现的结果大致为三种:试验版本有提升、无明显差异、试验版本的表现比原有版本糟糕。这三种结果其实都说明了试验的成功,试验版本有提升说明试验版本是最佳的,无明显差异说明两个版本均可,而试验版本表现较差则说明原有版本最优。

随机选取用户参与试验

想要测试新版本的点击率变化情况,但是选取的小流量刚好圈中的是一些特别爱点击的用户;或者做一个新产品后,在自己公司内部做试验,得出活跃度很高的结论,正式上线之后却发现用户不买账。类似这样试验流量不具有代表性的问题将会导致A/B 测试结果不准确,当新版本上线时反而可能会造成更多流失。

一次性改变多个变量进行试验

有时候产品和策略可能比较复杂,在同一个页面修改了许多元素。测试之后,整体试验结果可能是上升的,但是发现每个地方都产生了不同的效果,有的点击率提升了,有的注册率下降了,综合起来很难衡量实际的结果,不确定究竟是哪个元素的改变起到了关键性作用。为了得到明确答案,建议您进行多次试验,每次只对一个元素的改变作对比。

让用户自主选择版本

不少企业会在新版的页面上留下返回老版本的入口,让用户自主选择使用哪一版,通过收集返回按钮的点击率来判断最佳版本。但该思路不利于统计分析用户在新版的行为数据,因为用户离开新版本可能单纯是因为习惯使用老版本,而不是认为新版本的体验不好,最终导致了试验结果的不准确。
已邀请:

要回复问题请先登录注册