多链接合并模式

A↗B测试祁宇 发表了文章 • 0 个评论 • 141 次浏览 • 2016-11-12 16:34 • 来自相关话题

在进行H5页面的试验时,若不同设计方案差异很大,不适用可视化或编程模式时,或者已经拥有多个不同的页面,可采用多链接合并模式。将多个URL合并生成唯一的试验URL,当用户访问试验URL时,将会自动分流到各个试验页面中,并获取行为数据,验证哪个URL转化率更高。

我们将以优化页面上的一个标题的文案为例,来说明如何使用多链接合并模式。先通过一张简单的流程图了解所需的步骤,再一步步进行具体操作:



1.登录Testin A/B 测试,选择相应的项目环境创建应用。建议以「产品名+环境+项目主题」的方式命名,例如:「AppAdhocH5申请页面」。需要注意的是,Testin A/B 测试对名称的设置只支持中英文和数字输入,无法使用特殊字符。



2.创建试验,选择「多链接合并模式」,进入下一步。输入试验名称,试验描述选填,选择试验分层,为了方便寻找,可以将此次测试的内容设置为试验名称。



3.编辑版本,每个试验版本对应一个独立页面,请在此填写您的页面链接,原始版本的链接将作为试验URL。当用户访问试验URL时,将会按照设定的流量比例进入到对应的试验版本中。点击“添加版本”按钮,可添加多个试验版本,并且可删除(建议需要测试的页面有相关性)。

需要注意的是:请在所有试验页面的<head>部分加入javascript代码,否则无法读取和编辑页面。



4.创建「优化指标」(点击了解如何选取优化指标)。同样,将优化指标设置完成后,需要对其进行代码集成。若在试验开始运行前,有指标增减的情况,应及时将代码同步。

需要注意的是:每个试验版本都需要集成优化指标。

Testin A/B 测试支持在多链接合并模式下对复合指标的统计,也就是通过对已添加优化指标的组合计算,来表现一个复合型指标的数据,目前支持+-*÷及()运算。需要说明的是,复合指标无需单独集成代码埋点。



5.在开始运行试验前,Testin A/B 测试支持用户直接通过后台选择,强制进入试验环境,验证代码集成是否正确,并提前检测试验版本的效果。同时,相关测试数据将不计入试验结果。

选择试验版本并点击按钮,就会跳转试验版本页面。同时,当对该页面进行操作,且相应的测试数据也会发生变化时,说明试验版本已经成功集成。若无法进入测试版本(包括原始版本)或无法正常统计试验数据,可能是集成过程中出现了错误,需修正后重新进行检验。 重复上述操作,确保所有版本都验证正确,再进行下一步操作。



优化指标将在下表展示。



试验开始后,也可进入此页面进行调试,调试数据不会干扰试验结果。

6.点击「开始试验」按钮,正式运行试验所有试验版本。进入试验运行中的控制页面,可以实时对试验流量进行调整。多链接合并模式下可以直接在版本管理界面新增版本或者修改版本名称、说明、文案等。若想更换优化指标,则需要重新集成代码。

需要注意的是:添加新的版本后需要再次加入javascript代码。



7.进入试验控制页面,开始分配版本流量。我们提倡先从小流量入手,逐渐增大流量分配。在这里我们首先给试验版本分配了10%的流量,为了便于数据对比,我们同样将原始版本的流量设置为10%。剩余未被分配的80%流量,用户仍将看到原始版本,但这部分的用户行为数据不会计入试验数据中。



8.运行一段时间后,可以通过「试验概况」和「指标详情」查看试验数据详情。关于不同图表的具体解读,请参见如何用数据决策。



9.根据试验情况,适当调整流量。案例中的试验版本在小流量内的表现较好,因此我们将版本流量逐步放大至20%。为了保证版本流量的一致性,原始版本也同时提高到20%。



10.一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周,如果遇到节假日,运行周期应适当延长。对比不同版本的指标数据,若置信区间上下限同为正或同为负,说明试验结果显著;否则,请延长运行时间,若依然无显著表现,则说明版本间差异不大。在这里,试验版本的95%置信区间显示为[+30%,+35%],说明若上线试验版本,则有95%的可能将转化率提高30%~35%,点击了解更多置信区间详情。在得出可信的试验结果后,根据数据报告,选出表现最优的版本,将试验关停或一键发布。由于试验版本的结果显著且增长,因此我们在「运行控制」页面确定将其发布。


11.至此,我们就完成了一个多链接合并模式测试。试验版本正式发布后,所有用户都会看到优化过的标题文案。若试验结果显示原始版本的表现更好,则可选择关停试验版本,关停后,所有用户都将回到原始版本。



12.Testin A/B 测试支持在同一账户下创建多个应用和试验,可分别在登录页面和「试验列表」模块查看详情。同时,账户内的所有优化指标设置,都可以在任意应用内的「SDK集成」模块中查看。 查看全部
在进行H5页面的试验时,若不同设计方案差异很大,不适用可视化或编程模式时,或者已经拥有多个不同的页面,可采用多链接合并模式。将多个URL合并生成唯一的试验URL,当用户访问试验URL时,将会自动分流到各个试验页面中,并获取行为数据,验证哪个URL转化率更高。

我们将以优化页面上的一个标题的文案为例,来说明如何使用多链接合并模式。先通过一张简单的流程图了解所需的步骤,再一步步进行具体操作:



1.登录Testin A/B 测试,选择相应的项目环境创建应用。建议以「产品名+环境+项目主题」的方式命名,例如:「AppAdhocH5申请页面」。需要注意的是,Testin A/B 测试对名称的设置只支持中英文和数字输入,无法使用特殊字符。



2.创建试验,选择「多链接合并模式」,进入下一步。输入试验名称,试验描述选填,选择试验分层,为了方便寻找,可以将此次测试的内容设置为试验名称。



3.编辑版本,每个试验版本对应一个独立页面,请在此填写您的页面链接,原始版本的链接将作为试验URL。当用户访问试验URL时,将会按照设定的流量比例进入到对应的试验版本中。点击“添加版本”按钮,可添加多个试验版本,并且可删除(建议需要测试的页面有相关性)。

需要注意的是:请在所有试验页面的<head>部分加入javascript代码,否则无法读取和编辑页面。



4.创建「优化指标」(点击了解如何选取优化指标)。同样,将优化指标设置完成后,需要对其进行代码集成。若在试验开始运行前,有指标增减的情况,应及时将代码同步。

需要注意的是:每个试验版本都需要集成优化指标。

Testin A/B 测试支持在多链接合并模式下对复合指标的统计,也就是通过对已添加优化指标的组合计算,来表现一个复合型指标的数据,目前支持+-*÷及()运算。需要说明的是,复合指标无需单独集成代码埋点。



5.在开始运行试验前,Testin A/B 测试支持用户直接通过后台选择,强制进入试验环境,验证代码集成是否正确,并提前检测试验版本的效果。同时,相关测试数据将不计入试验结果。

选择试验版本并点击按钮,就会跳转试验版本页面。同时,当对该页面进行操作,且相应的测试数据也会发生变化时,说明试验版本已经成功集成。若无法进入测试版本(包括原始版本)或无法正常统计试验数据,可能是集成过程中出现了错误,需修正后重新进行检验。 重复上述操作,确保所有版本都验证正确,再进行下一步操作。



优化指标将在下表展示。



试验开始后,也可进入此页面进行调试,调试数据不会干扰试验结果。

6.点击「开始试验」按钮,正式运行试验所有试验版本。进入试验运行中的控制页面,可以实时对试验流量进行调整。多链接合并模式下可以直接在版本管理界面新增版本或者修改版本名称、说明、文案等。若想更换优化指标,则需要重新集成代码。

需要注意的是:添加新的版本后需要再次加入javascript代码。



7.进入试验控制页面,开始分配版本流量。我们提倡先从小流量入手,逐渐增大流量分配。在这里我们首先给试验版本分配了10%的流量,为了便于数据对比,我们同样将原始版本的流量设置为10%。剩余未被分配的80%流量,用户仍将看到原始版本,但这部分的用户行为数据不会计入试验数据中。



8.运行一段时间后,可以通过「试验概况」和「指标详情」查看试验数据详情。关于不同图表的具体解读,请参见如何用数据决策。



9.根据试验情况,适当调整流量。案例中的试验版本在小流量内的表现较好,因此我们将版本流量逐步放大至20%。为了保证版本流量的一致性,原始版本也同时提高到20%。



10.一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周,如果遇到节假日,运行周期应适当延长。对比不同版本的指标数据,若置信区间上下限同为正或同为负,说明试验结果显著;否则,请延长运行时间,若依然无显著表现,则说明版本间差异不大。在这里,试验版本的95%置信区间显示为[+30%,+35%],说明若上线试验版本,则有95%的可能将转化率提高30%~35%,点击了解更多置信区间详情。在得出可信的试验结果后,根据数据报告,选出表现最优的版本,将试验关停或一键发布。由于试验版本的结果显著且增长,因此我们在「运行控制」页面确定将其发布。


11.至此,我们就完成了一个多链接合并模式测试。试验版本正式发布后,所有用户都会看到优化过的标题文案。若试验结果显示原始版本的表现更好,则可选择关停试验版本,关停后,所有用户都将回到原始版本。



12.Testin A/B 测试支持在同一账户下创建多个应用和试验,可分别在登录页面和「试验列表」模块查看详情。同时,账户内的所有优化指标设置,都可以在任意应用内的「SDK集成」模块中查看。

3.7 Server端编程式试验

回复

A↗B测试鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 199 次浏览 • 2016-11-12 16:17 • 来自相关话题

3.6 客户端结合 Server 端的试验

回复

A↗B测试鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 160 次浏览 • 2016-11-12 16:15 • 来自相关话题

3.5 多链接合并模式

回复

A↗B测试鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 147 次浏览 • 2016-11-12 16:14 • 来自相关话题

11.5 A/B 测试的统计学原理

回复

A↗B测试鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 200 次浏览 • 2016-11-12 16:11 • 来自相关话题

11.4 根据结果,选出最优版本

回复

A↗B测试鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 155 次浏览 • 2016-11-12 16:09 • 来自相关话题

11.3 分析和解读数据

回复

A↗B测试鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 159 次浏览 • 2016-11-12 16:08 • 来自相关话题

11.2 如何查看试验数据

回复

A↗B测试鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 154 次浏览 • 2016-11-12 16:06 • 来自相关话题

11.1 优化指标的选取

回复

A↗B测试鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 131 次浏览 • 2016-11-12 16:04 • 来自相关话题

10.3 合理优化配置试验资源

回复

A↗B测试鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 137 次浏览 • 2016-11-12 16:04 • 来自相关话题