9.3 定向试验

回复

A↗B测试鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 18 次浏览 • 2016-11-12 16:01 • 来自相关话题

9.2 分层流量

回复

A↗B测试鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 24 次浏览 • 2016-11-12 16:01 • 来自相关话题

9.1 流量分配

回复

A↗B测试鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 23 次浏览 • 2016-11-12 16:00 • 来自相关话题

8.2 流量分配

回复

A↗B测试鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 21 次浏览 • 2016-11-12 15:59 • 来自相关话题

8.1 创建克隆试验

回复

A↗B测试鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 32 次浏览 • 2016-11-12 15:58 • 来自相关话题

7.3 集成调试

回复

A↗B测试鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 32 次浏览 • 2016-11-12 15:57 • 来自相关话题

7.2 试验版本和优化指标

回复

A↗B测试鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 15 次浏览 • 2016-11-12 15:56 • 来自相关话题

7.1 创建试验

回复

A↗B测试鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 20 次浏览 • 2016-11-12 15:55 • 来自相关话题

iOS编程式试验

A↗B测试祁宇 发表了文章 • 0 个评论 • 15 次浏览 • 2016-11-12 12:01 • 来自相关话题

在这部分中,我们将以优化页面上的按钮为例,来说明如何进行iOS编程式试验。先通过一张简单的流程图了解所需的步骤,再一步步进行具体操作:



1.一个完整的A/B 测试需要根据目前已有的用户数据进行分析判断,推断并建立假设,才能针对性的做出改变和调整,点击怎么使用A/B 测试详细了解。根据具体需求,构建产品A/B 测试的需求文档,即明确本次试验的几个要素。

登录Testin A/B 测试,选择相应的项目环境创建应用。建议以「产品名+环境+项目主题」的方式命名,例如:「AppAdhociOS申请页面」。需要注意的是,Testin A/B 测试对名称的设置只支持中英文和数字输入,无法使用特殊字符。



2.点击「完成」,可以看到生成的APP Key,这是该应用的授权标识。此时,您需要通过该标识,在测试页面完成AppAdhoc iOS SDK集成,详情请参考SDK集成文档。



3.创建试验,选择「编程模式」,进入下一步。输入试验名称,填写相关的试验描述说明。为了方便寻找,可以将此次测试的内容设置为试验名称。


4.进入「编辑版本」模块,自动生成试验版本,点击版本名称即可进行修改。新建试验变量(即此次试验需要改动的内容):设置变量名称,填写变量说明,选择相应的变量类型。「String」代表用字符串表示的优化类型(如:文案内容、颜色),「Boolean」代表用逻辑判断表示的优化类型(如:是、否),「Number」代表用数字表示的优化类型(如:数量、尺寸)。

在这里,将变量名称设置为ImmidietlyButton,变量类型设置为String,同时集成代码,例如[self.testButton setTitle: [[AdhocSDK getFlag:@"ImmidietlyButton" default:@(NO)] stringValue] forState:UIControlStateNormal];。更多关于变量集成的信息,请参考SDK集成文档。

请注意,在添加变量时,务必以原始版本的默认值为准进行填写(点击“+”确认后,原始版本的变量值不可更改)。



之后,点击试验版本的变量值进行编辑修改。若有多个试验版本,可在当前版本的变量创建完成后,在页面下方点击“添加版本”进行创建。

设置好变量后,需要在产品代码中同步集成,请确保变量名称在平台与试验页面的一致性。



5.接下来进行「优化指标」设置(点击了解如何选取优化指标),这里为「BtnClick」。同样,将优化指标设置完成后,需要对其进行代码集成。若在试验开始运行前,有指标增减的情况,应及时将代码同步。

Testin A/B 测试支持在编程模式下对复合指标的统计,也就是通过对已添加优化指标的组合计算,来表现一个复合型指标的数据,目前支持+-*÷及()运算。需要说明的是,复合指标无需单独集成代码埋点。



6.在开始运行试验前,需要确认集成是否正确,并验证效果。SDK在调试模式下可通过扫码强制进入试验环境,验证代码集成是否正确,并提前检测试验版本的效果。请注意,在集成调试之前,请确保试验APP已处于完全退出的状态。同时,相关测试数据将不计入试验结果。



在应用中点击悬浮按钮扫二维码跳转到您的应用,即可预览该版本,检验版本配置。关于悬浮按钮的集成请参考SDK集成文档。



通过该设备对试验变量进行操作,且相应的测试数据也会发生变化时,说明试验版本已经成功集成。若无法进入测试版本(包括原始版本)或无法正常统计试验数据,可能是集成过程中出现了错误,需修正后重新进行检验。



需要说明的是:扫码后,设备会保持停留在该版本,不受试验流量调整的影响。如果想退出试验版本请点击“退出试验”。

重复上述操作,确保所有版本都验证正确,再进行下一步操作。更多详情请阅读移动应用调试工具,或在线咨询Testin官方客服。

7.在保证所有集成都调试无误后,需要将集成好SDK、配置好变量和指标的版本上传到应用市场中,以保证试验可以正常在线上运行。

8.点击「开始试验」按钮,正式运行所有试验版本,并开始分配版本流量。Testin A/B 测试支持实时对试验流量进行调整。



我们提倡先从小流量入手,逐渐增大流量分配。在这里我们首先给试验版本分配了10%的流量,为了便于数据对比,我们同样将原始版本的流量设置为10%。剩余未被分配的80%流量,用户仍将看到原始版本,但这部分的用户行为数据不会计入试验数据中。



此外,编程模式下可以直接在版本管理界面新增版本、变量,或者修改版本名称、说明、文案等。若想更换变量与优化指标,则需要重新集成代码。

9.运行一段时间后,可以通过「试验概况」和「指标详情」查看试验数据详情。关于不同图表的具体解读,请参见如何用数据决策。



10.根据试验情况,适当调整流量。案例中试验版本在小流量内的表现较好,因此我们将版本流量逐步放大至20%。为了保证版本流量的一致性,原始版本也同时提高到20%。



11.一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周,如果遇到节假日,运行周期应适当延长。对比不同版本的指标数据,若置信区间上下限同为正或同为负,说明试验结果显著;否则,请延长运行时间,若依然无显著表现,则说明版本间差异不大。在这里,试验版本的95%置信区间显示为[+30%,+35%],说明若上线试验版本,则有95%的可能将转化率提高30%~35%。点击了解更多置信区间详情。在得出可信的试验结果后,根据数据报告,选出表现最优的版本,将试验关停或一键发布。由于试验版本的试验结果显著且增长,因此我们在「运行控制」页面确定将其发布。



12.至此,我们就完成了一个iOS编程式A/B 测试。试验版本正式发布后,所有用户都会看到优化过的立即抢购按钮文案。若试验结果显示原始版本的表现更好,则可选择关停试验版本,关停后,所有用户都将回到原始版本。需要说明的是,此时无需经过应用市场审核,直接在线点击「一键发布」即可。



13.Testin A/B 测试支持在同一账户下创建多个应用和试验,可分别在登录页面和「试验列表」模块查看详情。同时,账户内的所有变量和优化指标设置,都可以在任意应用内的「SDK集成」模块中查看。


  查看全部
在这部分中,我们将以优化页面上的按钮为例,来说明如何进行iOS编程式试验。先通过一张简单的流程图了解所需的步骤,再一步步进行具体操作:



1.一个完整的A/B 测试需要根据目前已有的用户数据进行分析判断,推断并建立假设,才能针对性的做出改变和调整,点击怎么使用A/B 测试详细了解。根据具体需求,构建产品A/B 测试的需求文档,即明确本次试验的几个要素。

登录Testin A/B 测试,选择相应的项目环境创建应用。建议以「产品名+环境+项目主题」的方式命名,例如:「AppAdhociOS申请页面」。需要注意的是,Testin A/B 测试对名称的设置只支持中英文和数字输入,无法使用特殊字符。



2.点击「完成」,可以看到生成的APP Key,这是该应用的授权标识。此时,您需要通过该标识,在测试页面完成AppAdhoc iOS SDK集成,详情请参考SDK集成文档。



3.创建试验,选择「编程模式」,进入下一步。输入试验名称,填写相关的试验描述说明。为了方便寻找,可以将此次测试的内容设置为试验名称。


4.进入「编辑版本」模块,自动生成试验版本,点击版本名称即可进行修改。新建试验变量(即此次试验需要改动的内容):设置变量名称,填写变量说明,选择相应的变量类型。「String」代表用字符串表示的优化类型(如:文案内容、颜色),「Boolean」代表用逻辑判断表示的优化类型(如:是、否),「Number」代表用数字表示的优化类型(如:数量、尺寸)。

在这里,将变量名称设置为ImmidietlyButton,变量类型设置为String,同时集成代码,例如[self.testButton setTitle: [[AdhocSDK getFlag:@"ImmidietlyButton" default:@(NO)] stringValue] forState:UIControlStateNormal];。更多关于变量集成的信息,请参考SDK集成文档。

请注意,在添加变量时,务必以原始版本的默认值为准进行填写(点击“+”确认后,原始版本的变量值不可更改)。



之后,点击试验版本的变量值进行编辑修改。若有多个试验版本,可在当前版本的变量创建完成后,在页面下方点击“添加版本”进行创建。

设置好变量后,需要在产品代码中同步集成,请确保变量名称在平台与试验页面的一致性。



5.接下来进行「优化指标」设置(点击了解如何选取优化指标),这里为「BtnClick」。同样,将优化指标设置完成后,需要对其进行代码集成。若在试验开始运行前,有指标增减的情况,应及时将代码同步。

Testin A/B 测试支持在编程模式下对复合指标的统计,也就是通过对已添加优化指标的组合计算,来表现一个复合型指标的数据,目前支持+-*÷及()运算。需要说明的是,复合指标无需单独集成代码埋点。



6.在开始运行试验前,需要确认集成是否正确,并验证效果。SDK在调试模式下可通过扫码强制进入试验环境,验证代码集成是否正确,并提前检测试验版本的效果。请注意,在集成调试之前,请确保试验APP已处于完全退出的状态。同时,相关测试数据将不计入试验结果。



在应用中点击悬浮按钮扫二维码跳转到您的应用,即可预览该版本,检验版本配置。关于悬浮按钮的集成请参考SDK集成文档。



通过该设备对试验变量进行操作,且相应的测试数据也会发生变化时,说明试验版本已经成功集成。若无法进入测试版本(包括原始版本)或无法正常统计试验数据,可能是集成过程中出现了错误,需修正后重新进行检验。



需要说明的是:扫码后,设备会保持停留在该版本,不受试验流量调整的影响。如果想退出试验版本请点击“退出试验”。

重复上述操作,确保所有版本都验证正确,再进行下一步操作。更多详情请阅读移动应用调试工具,或在线咨询Testin官方客服。

7.在保证所有集成都调试无误后,需要将集成好SDK、配置好变量和指标的版本上传到应用市场中,以保证试验可以正常在线上运行。

8.点击「开始试验」按钮,正式运行所有试验版本,并开始分配版本流量。Testin A/B 测试支持实时对试验流量进行调整。



我们提倡先从小流量入手,逐渐增大流量分配。在这里我们首先给试验版本分配了10%的流量,为了便于数据对比,我们同样将原始版本的流量设置为10%。剩余未被分配的80%流量,用户仍将看到原始版本,但这部分的用户行为数据不会计入试验数据中。



此外,编程模式下可以直接在版本管理界面新增版本、变量,或者修改版本名称、说明、文案等。若想更换变量与优化指标,则需要重新集成代码。

9.运行一段时间后,可以通过「试验概况」和「指标详情」查看试验数据详情。关于不同图表的具体解读,请参见如何用数据决策。



10.根据试验情况,适当调整流量。案例中试验版本在小流量内的表现较好,因此我们将版本流量逐步放大至20%。为了保证版本流量的一致性,原始版本也同时提高到20%。



11.一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周,如果遇到节假日,运行周期应适当延长。对比不同版本的指标数据,若置信区间上下限同为正或同为负,说明试验结果显著;否则,请延长运行时间,若依然无显著表现,则说明版本间差异不大。在这里,试验版本的95%置信区间显示为[+30%,+35%],说明若上线试验版本,则有95%的可能将转化率提高30%~35%。点击了解更多置信区间详情。在得出可信的试验结果后,根据数据报告,选出表现最优的版本,将试验关停或一键发布。由于试验版本的试验结果显著且增长,因此我们在「运行控制」页面确定将其发布。



12.至此,我们就完成了一个iOS编程式A/B 测试。试验版本正式发布后,所有用户都会看到优化过的立即抢购按钮文案。若试验结果显示原始版本的表现更好,则可选择关停试验版本,关停后,所有用户都将回到原始版本。需要说明的是,此时无需经过应用市场审核,直接在线点击「一键发布」即可。



13.Testin A/B 测试支持在同一账户下创建多个应用和试验,可分别在登录页面和「试验列表」模块查看详情。同时,账户内的所有变量和优化指标设置,都可以在任意应用内的「SDK集成」模块中查看。


 

Android编程式试验

A↗B测试祁宇 发表了文章 • 0 个评论 • 14 次浏览 • 2016-11-12 11:55 • 来自相关话题

Android编程式试验

在这部分中,我们将以优化页面上的按钮为例,来说明如何进行Android编程式试验。先通过一张简单的流程图了解所需的步骤,再一步步进行具体操作:



1.一个完整的A/B 测试需要根据目前已有的用户数据进行分析判断,推断并建立假设,才能针对性的做出改变和调整,点击怎么使用A/B 测试详细了解。根据具体需求,构建产品A/B 测试的需求文档,即明确本次试验的几个要素。

登录Testin A/B 测试,选择相应的项目环境创建应用。建议以「产品名+环境+项目主题」的方式命名,例如:「AppAdhoc安卓申请页面」。需要注意的是,Testin A/B 测试对名称的设置只支持中英文和数字输入,无法使用特殊字符。



2.点击「完成」,可以看到生成的APP Key,这是该应用的授权标识。此时,您需要通过该标识,在测试页面完成Testin Android SDK集成,详情请参考SDK集成文档。



3.创建试验,选择「编程模式」,进入下一步。输入试验名称,填写相关的试验描述说明。为了方便寻找,可以将此次测试的内容设置为试验名称。



4.进入「编辑版本」模块,自动生成试验版本,点击版本名称即可进行修改。新建试验变量(即此次试验需要改动的内容):设置变量名称,填写变量说明,选择相应的变量类型。「String」代表用字符串表示的优化类型(如:文案内容、颜色),「Boolean」代表用逻辑判断表示的优化类型(如:是、否),「Number」代表用数字表示的优化类型(如:数量、尺寸)。

在这里,将变量名称设置为ImmidietlyButton,变量类型设置为String,同时集成代码,例如testButton. setText(flag.getStringFlag(“ImmidietlyButton”));。更多关于变量集成的信息,请参考SDK集成文档。

请注意, 在添加变量时,务必以原始版本的默认值为准进行填写(点击“+”确认后,原始版本的变量值不可更改)。



之后,点击试验版本的变量值进行编辑修改。若有多个试验版本,可在当前版本的变量创建完成后,在页面下方点击“添加版本”进行创建。设置好变量后,需要在产品代码中同步集成,请确保变量名称在平台与试验页面的一致性。



5.接下来进行「优化指标」设置(点击了解如何选取优化指标),这里为「BtnClick」。同样,将优化指标设置完成后,需要对其进行代码集成。若在试验开始运行前,有指标增减的情况,应及时将代码同步。

Testin A/B 测试支持在编程模式下对复合指标的统计,也就是通过对已添加优化指标的组合计算,来表现一个复合型指标的数据,目前支持+-*÷及()运算。需要说明的是,复合指标无需单独集成代码埋点。



6.在开始运行试验前,需要确认集成是否正确,并验证效果。Testin A/B 测试开发了AdhocTester工具,用户可通过扫码强制进入试验环境,验证代码集成是否正确,并提前检测试验版本的效果。请注意,在集成调试之前,请确保试验APP已处于完全退出的状态。同时,相关测试数据将不计入试验结果。



进入「集成调试」页面,可以看到试验版本的二维码,以及「测试数据」栏。点击下载AdhocTester Android端工具,安装到手机后进入应用。选择「扫描加入试验(Android)」,扫描页面上的二维码成功后,AdhocTester会自动跳回应用首页,并显示「已经加入试验」,之后打开您的app,即可看到试验版本。



当通过该设备对试验变量进行操作,且相应的测试数据也会发生变化时,说明试验版本已经成功集成。若无法进入测试版本(包括原始版本)或无法正常统计试验数据,可能是集成过程中出现了错误,需修正后重新进行检验。



需要说明的是:扫码后,设备会保持停留在该版本,不受试验流量调整的影响。如果想退出试验版本请点击“退出试验”。

重复上述操作,确保所有版本都验证正确,再进行下一步操作。此外,Testin A/B 测试支持在试验开始后,进入该页面进行集成调试,更多详情请阅读移动应用调试工具,或在线咨询Testin官方客服。

7.在保证所有集成都调试无误后,需要将集成好SDK、配置好变量和指标的版本上传到应用市场中,以保证试验可以正常在线上运行。

8.点击「开始试验」按钮,正式运行所有试验版本,并开始分配版本流量。Testin A/B 测试支持实时对试验流量进行调整。



我们提倡先从小流量入手,逐渐增大流量分配。在这里我们首先给试验版本分配了10%的流量,为了便于数据对比,我们同样将原始版本的流量设置为10%。剩余未被分配的80%流量,用户仍将看到原始版本,但这部分的用户行为数据不会计入试验数据中。



此外,编程模式下可以直接在版本管理界面新增版本、变量,或者修改版本名称、说明、文案等。若想更换变量与优化指标,则需要重新集成代码。

9.运行一段时间后,可以通过「试验概况」和「指标详情」查看试验数据详情。关于不同图表的具体解读,请参见如何用数据决策。



10.根据试验情况,适当调整流量。案例中试验版本在小流量内的表现较好,因此我们将版本流量逐步放大至20%。为了保证版本流量的一致性,原始版本也同时提高到20%。



11.一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周,如果遇到节假日,运行周期应适当延长。对比不同版本的指标数据,若置信区间上下限同为正或同为负,说明试验结果显著;否则,请延长运行时间,若依然无显著表现,则说明版本间差异不大。在这里,试验版本的95%置信区间显示为[+30%,+35%],说明若上线试验版本,则有95%的可能将转化率提高30%~35%。点击了解更多置信区间详情。在得出可信的试验结果后,根据数据报告,选出表现最优的版本,将试验关停或一键发布。由于试验版本的试验结果显著且增长,因此我们在「运行控制」页面确定将其发布。



12.至此,我们就完成了一个Android编程式A/B 测试。试验版本正式发布后,所有用户都会看到优化过的立即抢购按钮文案。若试验结果显示原始版本的表现更好,则可选择关停试验版本,关停后,所有用户都将回到原始版本。需要说明的是,此时无需经过应用市场审核,直接在线点击「一键发布」即可。



13.Testin A/B 测试支持在同一账户下创建多个应用和试验,可分别在登录页面和「试验列表」模块查看详情。同时,账户内的所有变量和优化指标设置,都可以在任意应用内的「SDK集成」模块中查看。 查看全部
Android编程式试验

在这部分中,我们将以优化页面上的按钮为例,来说明如何进行Android编程式试验。先通过一张简单的流程图了解所需的步骤,再一步步进行具体操作:



1.一个完整的A/B 测试需要根据目前已有的用户数据进行分析判断,推断并建立假设,才能针对性的做出改变和调整,点击怎么使用A/B 测试详细了解。根据具体需求,构建产品A/B 测试的需求文档,即明确本次试验的几个要素。

登录Testin A/B 测试,选择相应的项目环境创建应用。建议以「产品名+环境+项目主题」的方式命名,例如:「AppAdhoc安卓申请页面」。需要注意的是,Testin A/B 测试对名称的设置只支持中英文和数字输入,无法使用特殊字符。



2.点击「完成」,可以看到生成的APP Key,这是该应用的授权标识。此时,您需要通过该标识,在测试页面完成Testin Android SDK集成,详情请参考SDK集成文档。



3.创建试验,选择「编程模式」,进入下一步。输入试验名称,填写相关的试验描述说明。为了方便寻找,可以将此次测试的内容设置为试验名称。



4.进入「编辑版本」模块,自动生成试验版本,点击版本名称即可进行修改。新建试验变量(即此次试验需要改动的内容):设置变量名称,填写变量说明,选择相应的变量类型。「String」代表用字符串表示的优化类型(如:文案内容、颜色),「Boolean」代表用逻辑判断表示的优化类型(如:是、否),「Number」代表用数字表示的优化类型(如:数量、尺寸)。

在这里,将变量名称设置为ImmidietlyButton,变量类型设置为String,同时集成代码,例如testButton. setText(flag.getStringFlag(“ImmidietlyButton”));。更多关于变量集成的信息,请参考SDK集成文档。

请注意, 在添加变量时,务必以原始版本的默认值为准进行填写(点击“+”确认后,原始版本的变量值不可更改)。



之后,点击试验版本的变量值进行编辑修改。若有多个试验版本,可在当前版本的变量创建完成后,在页面下方点击“添加版本”进行创建。设置好变量后,需要在产品代码中同步集成,请确保变量名称在平台与试验页面的一致性。



5.接下来进行「优化指标」设置(点击了解如何选取优化指标),这里为「BtnClick」。同样,将优化指标设置完成后,需要对其进行代码集成。若在试验开始运行前,有指标增减的情况,应及时将代码同步。

Testin A/B 测试支持在编程模式下对复合指标的统计,也就是通过对已添加优化指标的组合计算,来表现一个复合型指标的数据,目前支持+-*÷及()运算。需要说明的是,复合指标无需单独集成代码埋点。



6.在开始运行试验前,需要确认集成是否正确,并验证效果。Testin A/B 测试开发了AdhocTester工具,用户可通过扫码强制进入试验环境,验证代码集成是否正确,并提前检测试验版本的效果。请注意,在集成调试之前,请确保试验APP已处于完全退出的状态。同时,相关测试数据将不计入试验结果。



进入「集成调试」页面,可以看到试验版本的二维码,以及「测试数据」栏。点击下载AdhocTester Android端工具,安装到手机后进入应用。选择「扫描加入试验(Android)」,扫描页面上的二维码成功后,AdhocTester会自动跳回应用首页,并显示「已经加入试验」,之后打开您的app,即可看到试验版本。



当通过该设备对试验变量进行操作,且相应的测试数据也会发生变化时,说明试验版本已经成功集成。若无法进入测试版本(包括原始版本)或无法正常统计试验数据,可能是集成过程中出现了错误,需修正后重新进行检验。



需要说明的是:扫码后,设备会保持停留在该版本,不受试验流量调整的影响。如果想退出试验版本请点击“退出试验”。

重复上述操作,确保所有版本都验证正确,再进行下一步操作。此外,Testin A/B 测试支持在试验开始后,进入该页面进行集成调试,更多详情请阅读移动应用调试工具,或在线咨询Testin官方客服。

7.在保证所有集成都调试无误后,需要将集成好SDK、配置好变量和指标的版本上传到应用市场中,以保证试验可以正常在线上运行。

8.点击「开始试验」按钮,正式运行所有试验版本,并开始分配版本流量。Testin A/B 测试支持实时对试验流量进行调整。



我们提倡先从小流量入手,逐渐增大流量分配。在这里我们首先给试验版本分配了10%的流量,为了便于数据对比,我们同样将原始版本的流量设置为10%。剩余未被分配的80%流量,用户仍将看到原始版本,但这部分的用户行为数据不会计入试验数据中。



此外,编程模式下可以直接在版本管理界面新增版本、变量,或者修改版本名称、说明、文案等。若想更换变量与优化指标,则需要重新集成代码。

9.运行一段时间后,可以通过「试验概况」和「指标详情」查看试验数据详情。关于不同图表的具体解读,请参见如何用数据决策。



10.根据试验情况,适当调整流量。案例中试验版本在小流量内的表现较好,因此我们将版本流量逐步放大至20%。为了保证版本流量的一致性,原始版本也同时提高到20%。



11.一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周,如果遇到节假日,运行周期应适当延长。对比不同版本的指标数据,若置信区间上下限同为正或同为负,说明试验结果显著;否则,请延长运行时间,若依然无显著表现,则说明版本间差异不大。在这里,试验版本的95%置信区间显示为[+30%,+35%],说明若上线试验版本,则有95%的可能将转化率提高30%~35%。点击了解更多置信区间详情。在得出可信的试验结果后,根据数据报告,选出表现最优的版本,将试验关停或一键发布。由于试验版本的试验结果显著且增长,因此我们在「运行控制」页面确定将其发布。



12.至此,我们就完成了一个Android编程式A/B 测试。试验版本正式发布后,所有用户都会看到优化过的立即抢购按钮文案。若试验结果显示原始版本的表现更好,则可选择关停试验版本,关停后,所有用户都将回到原始版本。需要说明的是,此时无需经过应用市场审核,直接在线点击「一键发布」即可。



13.Testin A/B 测试支持在同一账户下创建多个应用和试验,可分别在登录页面和「试验列表」模块查看详情。同时,账户内的所有变量和优化指标设置,都可以在任意应用内的「SDK集成」模块中查看。